Photon

OSINT向けに設計された驚異的に高速なクローラー。

Photon Wiki • 使い方 • 互換性 • Photonライブラリ • コントリビューション • ロードマップ

スポンサー

主な機能

データ抽出

Photonはクロール中に以下のデータを抽出できます：

• URL（スコープ内およびスコープ外）
• パラメータ付きURL（example.com/gallery.php?id=2）
• インテリジェンス（メールアドレス、ソーシャルメディアアカウント、Amazonバケットなど）
• ファイル（pdf、png、xmlなど）
• シークレットキー（認証/APIキーおよびハッシュ）
• JavaScriptファイルとそれらに含まれるエンドポイント
• カスタム正規表現パターンに一致する文字列
• サブドメインおよびDNS関連データ

抽出された情報は整理された形で保存されるか、JSONとしてエクスポートできます。

柔軟性

タイムアウトや遅延の制御、シードの追加、正規表現パターンに一致するURLの除外など、その他の便利な機能を利用できます。 Photonが提供する豊富なオプションにより、思い通りの方法でWebをクロールできます。

優れた設計

Photonのスマートなスレッド管理と洗練されたロジックが、最高水準のパフォーマンスを実現します。

クロールはリソースを大量に消費する可能性がありますが、Photonにはいくつかの工夫があります。--waybackオプションを使用すると、archive.orgによってアーカイブされたURLをシードとして取得できます。

プラグイン

• wayback
• dnsdumpster
• Exporter

Docker

Photonは軽量なPython-Alpine（103 MB）Dockerイメージを使用して起動できます。

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

結果を表示するには、ローカルの Docker ボリュームにアクセスするか（docker inspect photon を実行すると確認できます）、またはターゲットのルートフォルダをマウントします:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

頻繁かつシームレスなアップデート

Photon は活発に開発が進められており、バグ修正のためのアップデート、パフォーマンスの最適化、新機能の追加が定期的に行われています。

現在取り組まれている機能や課題については、Development プロジェクトボードで確認できます。

アップデートは --update オプションでインストールおよび確認できます。Photon はシームレスなアップデート機能を備えているため、保存済みのデータを失うことなく Photon を更新できます。 Control + Shift + m を押すと、タブキーによるフォーカス移動を切り替えられます。または、esc を押してから tab を押すと、ページ上の次のインタラクティブ要素に移動します。 ファイルはドラッグ＆ドロップ、選択、または貼り付けて添付します。 (https://www.thordata.com/?ls=github&lk=Photon)

Photon Wiki • 使い方 • 互換性 • Photon ライブラリ • コントリビューション • ロードマップ

主な機能

データ抽出

Photon はクロール中に以下のデータを抽出できます：

• URL（スコープ内およびスコープ外）
• パラメータ付き URL（example.com/gallery.php?id=2）
• インテリジェンス情報（メールアドレス、ソーシャルメディアアカウント、Amazon バケットなど）
• ファイル（pdf、png、xml など）
• シークレットキー（認証/API キーおよびハッシュ）
• JavaScript ファイルおよびそれらに含まれるエンドポイント
• カスタム正規表現パターンに一致する文字列
• サブドメインおよび DNS 関連データ

抽出された情報は整理された形で保存されるか、json としてエクスポートできます。

柔軟性

タイムアウトや遅延の制御、シードの追加、正規表現パターンに一致する URL の除外など、その他の便利な機能を利用できます。 Photon が提供する豊富なオプションにより、思い通りの方法でウェブをクロールできます。

優れた性能

Photon のスマートなスレッド管理と洗練されたロジックにより、最高水準のパフォーマンスを実現します。

それでもクロールはリソースを大量に消費する可能性がありますが、Photon にはいくつかの工夫があります。--wayback オプションを使用すると、archive.org によってアーカイブされた URL をシードとして取得できます。

プラグイン

• wayback
• dnsdumpster
• Exporter

Docker

Photon は軽量な Python-Alpine（103 MB）Docker イメージを使用して起動できます。

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

結果を表示するには、ローカルの Docker ボリュームにアクセスするか（docker inspect photon を実行すると確認できます）、またはターゲットのルートフォルダをマウントします:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

頻繁かつシームレスなアップデート

Photonは活発に開発が進められており、バグ修正のためのアップデート、パフォーマンスの最適化、新機能の追加が定期的に行われています。

現在取り組まれている機能や課題については、Developmentプロジェクトボードで確認できます。

アップデートのインストールと確認は--updateオプションで行えます。Photonはシームレスなアップデート機能を備えているため、保存済みのデータを失うことなくPhotonを更新できます。

コントリビューションとライセンス

以下の方法で貢献できます:

• バグを報告する
• プラグインを開発する
• ninjaモード用の「API」をさらに追加する
• 改善のための提案を行う
• 問題を修正してプルリクエストを送信する

プルリクエストやissueを送信する前に、ガイドラインをお読みください。

プライベートで会話したいですか？私のtwitterまでご連絡ください。受信箱は開いています :)

PhotonはGPL v3.0 licenseの下でライセンスされています