pryingdeep

Translation (Перевод)

• Click

重要

• このリポジトリはもはやアクティブではありません、申し訳ありませんが、これ以上開発を続けたくありません :)

プロジェクトについて

GitHub上にはディープウェブ向けのクローラーが複数あるのを見てきましたが、 そのほとんどがディープウェブにおけるOSINTの私の基準を満たしていませんでした。 そこで、自分自身のディープウェブOSINTツールを作ることにしました。

このツールは、ディープウェブにおいてもOPSECのベストプラクティスを常に遵守すべきであることを思い出させるものです。

このプロジェクトの作者は、このツールの使用によって引き起こされる可能性のあるいかなる損害についても責任を負いません。

このツールは何をするのか？

Prying Deepはダークネット/クリアネットのプラットフォームをクロールし、可能な限り多くのインテリジェンスを効果的に抽出します。

はじめに

前提条件

このOSINTツールを使用する前に、以下の依存関係がインストールされていることを確認してください：

1. Docker: (任意)

   • お使いのオペレーティングシステム向けの公式インストール手順に従って、Dockerをダウンロードしてインストールできます：
   • Dockerインストールガイド.

2. Go: (必須)

   • Golangインストールガイド.

3. PostgresSQL: (Dockerを使用しない場合は必須)

   • pryingdeep.yamlの環境変数がdocker-compose.yamlの環境と一致していることを確認してください
   • PostgreSQLインストール

バイナリインストール

1. 以下でバイナリをインストールします：

go install -v github.com/iudicium/pryingdeep/cmd/pryingdeep@latest

2. 次のコマンドを実行します:

pryingdeep install

3. 必要に応じて config フォルダ内の値を調整してください。

手動インストール

1. リポジトリをクローンします:

    git clone https://github.com/iudicium/pryingdeep.git
   

2. .yaml 設定の値をフラグ経由または手動で調整します。 Database、logger、tor はすべて手動設定が必要です。
   

Colly Docs を読む必要があります。また、設定の説明も参照してください。

3. 以下でバイナリをビルドします:
   • go build -> cmd/pryingdeep ディレクトリ内
   • go build cmd/pryingdeep/pryingdeep.go -> ルートディレクトリ、バイナリもそこに生成されます。

Docker

Docker コンテナ内で pryingdeep を起動するには、次のコマンドを使用します:

docker-compose up

設定

各パラメータの詳細はこちらをご覧ください: config

Tor

tor コンテナのビルドと実行の詳細はこちらをご覧ください: Tor

使用方法

Pryingdeep specializes in collecting information about dark-web/clearnet websites.
This tool was specifically built to extract as much information as possible from a .onion website

Usage:
pryingdeep [command]

Available Commands:
completion  Generate the autocompletion script for the specified shell
crawl       Start the crawling process
export      Export the collected data into a file.
help        Help about any command
install     Installation of config files

Flags:
-c, --config string   Path to the .yaml configuration. (default "pryingdeep.yaml")
-h, --help            help for pryingdeep
-z, --save-config     Save chosen options to your .yaml configuration
-s, --silent          -s to disable logging and run silently

ロードマップ

• "tor" Dockerコンテナにユーザーを追加し、rootで実行されないようにする
• faviconモジュールのテスト用にshodan APIキーを取得する
• サーバーのIPアドレスを取得する方法を検討する
• scanコマンドを実装する
• ファイルの識別と検索を実装する
• テストを対応するパッケージに移動する

コントリビューション

1. プロジェクトをフォークする
2. devブランチをチェックアウトする (git checkout dev)
3. コードに適切なドキュメントを追加する。
4. goimports を使ってコードをリントする
5. プルリクエストを送信し、変更内容の詳細な説明を追加する。

ライセンス

GPL-3.0ライセンスの下で配布されています。詳細は LICENSE を参照してください。

動画プレビュー

プレビュー

サポート

このリポジトリが役に立ったと感じ、気前よく支援していただける場合は、以下のアドレスにMonero (XMR) を寄付していただけます：

48bEkvkzP3W4SGKSJAkWx2V8s4axCKwpDFf7ZmwBawg5DBSq2imbcZVKNzMriukuPqjCyf2BSax1D3AktiUq5vWk1satWJt

ありがとうございます！