darkdump

概要

Darkdumpは、ダークウェブ調査のためのオープンソースのOSINTツールです。検索クエリを指定すると、複数のダークウェブ検索エンジンから結果を取得し、オプションで各結果サイトからメールアドレス、メタデータ、キーワード、ドキュメント、画像をスクレイピングし、すべての結果をターミナルまたはローカルのブラウザベースのインターフェースにライブストリーミングします。すべての結果は、使用するエンジンに関係なく、Ahmiaの公開アブユースブラックリストに対して自動的にフィルタリングされます。

インストール

クイックインストール (Linux & macOS)

git clone https://github.com/josh0xA/darkdump
cd darkdump
chmod +x install.sh
./install.sh
darkdump

注: ./install.sh はmacOSでは sudo が必要かもしれません。

これにより、すべての依存関係がインストールされ、以下の2つのコマンドが作成されます。

手動インストール

git clone https://github.com/josh0xA/darkdump
cd darkdump
pip3 install -r requirements.txt
pip3 install -r darkdump-web/requirements.txt

ランチャーをアンインストールするには: ./uninstall.sh

Torの設定

Darkdumpを効果的に使用するには、Torを設定してスクリプトがTor制御ポート経由で制御できるようにする必要があります。以下は、torrcファイルを設定し、Torが実行されていることを確認する方法です。

ステップ1: Torのインストール

システムにTorがまだインストールされていない場合は、インストールする必要があります。以下は、さまざまなオペレーティングシステムにTorをインストールする方法です。

Debian/Kali/Ubuntu: sudo apt install tor
MacOS: brew install tor

ステップ2: Torのtorrcファイルを設定する

torrcファイルの場所を確認します。このファイルは通常、Linuxおよび場合によってはMacの /etc/tor/torrc にあります。

以下の行をtorrcに追加して、制御ポートを有効にし、制御ポートのパスワードを設定します。

ControlPort 9051
HashedControlPassword [YourHashedPasswordHere]

[YourHashedPasswordHere] は、tor --hash-password コマンドを使用して生成できるハッシュ化されたパスワードに置き換えます: tor --hash-password "my_password"

ステップ3: Torサービスの起動

Linux: sudo systemctl start tor.service
MacOS: brew services start tor

検索エンジン

-e / --engine で利用可能な6つのエンジン:

すべてのエンジンの結果は、Ahmiaのブラックリストと照合されます。フィルタリングされていないエンジンは、実行前に確認を求めます。この戦略は依然として完全ではなく、フィルタリングされていないエンジンを検索およびスクレイピングする際は、常に細心の注意と判断力を用いてください。

Darkdump Webプレビュー (推奨)

CLIの使用法

darkdump-cli [-h] [-v] [-q QUERY] [-a AMOUNT] [-e ENGINE]
             [-p] [-s] [-i] [-d] [-u] [-o FILE]
             [--breach] [--breach-deep] [--breach-delay SECONDS]

例

# Ahmia経由の基本検索 (Tor不要)
darkdump-cli -q "privacy tools" -a 10

# Tor経由で各結果を検索して深くスクレイピング
darkdump-cli -q "hacking" -a 10 -s -p

# 検索、スクレイピング、画像収集
darkdump-cli -q "marketplaces" -a 15 -s -p -i

# Not Evilエンジンを使用、重複排除、JSONに保存
darkdump-cli -q "security research" -a 20 -e notevil -p -u -o results.json

# OnionLandエンジンを使用、CSVに保存
darkdump-cli -q "crypto" -a 10 -e onionland -p -o results.csv

# メールアドレスの侵害インテリジェンススキャン
darkdump-cli --breach -q [email protected] -e ahmia -p

# 深いスクレイピング付きの侵害スキャン
darkdump-cli --breach --breach-deep -q example.com -e ahmia

Webインターフェース

Darkdumpにはローカルのブラウザベースのインターフェースが含まれています。

# install.shでインストールした場合
darkdump

# または直接実行
python3 darkdump-web/app.py

その後、ブラウザで http://127.0.0.1:50001 を開きます。

機能

• 結果が到着するとライブストリーミング
• ドロップダウンで6つのエンジンすべて利用可能
• Torプロキシの切り替えとライブの出口IP表示
• オプションの画像収集付き深いスクレイピング
• メタデータベースの重複排除
• 侵害インテリジェンススキャンモード
• 結果をJSON、CSV、TXTとしてエクスポート

倫理的注意事項

このツールは、正当なセキュリティ研究およびOSINT調査のみを目的としています。開発者のJosh Schiavoneは、不正使用について一切の責任を負いません。Darkdumpを使用して、お住まいの地域の法律や規制の下で違法行為に関与しているサイトにアクセスしたり調査したりしないでください。皆様に神のご加護がありますように。

ライセンス

MIT License — Copyright (c) Josh Schiavone