josh0xa/darkdumpOpen-Source-Intelligence-Schnittstelle für Deep-Web-Scraping
Darkdump ist ein Open-Source-OSINT-Tool zur Untersuchung des Darknets. Mit einer gegebenen Suchanfrage ruft es Ergebnisse von mehreren Darknet-Suchmaschinen ab, scrapet optional jede Ergebnis-Seite nach E-Mails, Metadaten, Schlüsselwörtern, Dokumenten und Bildern und streamt alles live entweder an das Terminal oder eine lokale browserbasierte Oberfläche. Alle Ergebnisse werden unabhängig von der verwendeten Engine automatisch gegen die öffentliche Missbrauchs-Blacklist von Ahmia gefiltert.
git clone https://github.com/josh0xA/darkdump
cd darkdump
chmod +x install.sh
./install.sh
darkdump
Hinweis: ./install.sh benötigt unter macOS möglicherweise sudo.
Dies installiert alle Abhängigkeiten und erstellt zwei Befehle:
| Befehl | Beschreibung |
|---|---|
darkdump | Startet die primäre Weboberfläche |
darkdump-cli | Führt das CLI-Tool aus |
git clone https://github.com/josh0xA/darkdump
cd darkdump
pip3 install -r requirements.txt
pip3 install -r darkdump-web/requirements.txt
Zum Deinstallieren der Launcher: ./uninstall.sh
Um Darkdump effektiv zu nutzen, müssen Sie Tor so konfigurieren, dass Ihr Skript es über den Tor-Kontrollport steuern kann. So richten Sie Ihre torrc-Datei ein und überprüfen, ob Tor läuft:
Wenn Tor auf Ihrem System noch nicht installiert ist, müssen Sie es installieren. So installieren Sie Tor auf verschiedenen Betriebssystemen:
Debian/Kali/Ubuntu: sudo apt install tor
MacOS: brew install tor
Finden Sie Ihre torrc-Datei. Diese Datei befindet sich normalerweise unter /etc/tor/torrc auf Linux und manchmal auf Mac.
Fügen Sie die folgenden Zeilen zu Ihrer torrc hinzu, um den Kontrollport zu aktivieren und ein Kontrollport-Passwort festzulegen:
ControlPort 9051
HashedControlPassword [IhrGehashtesPasswortHier]
Ersetzen Sie [IhrGehashtesPasswortHier] durch ein gehashtes Passwort, das mit dem Befehl tor --hash-password erstellt werden kann: tor --hash-password "mein_passwort"
Linux: sudo systemctl start tor.service
MacOS: brew services start tor
Sechs Engines sind über -e / --engine verfügbar:
Die Ergebnisse aller Engines werden gegen die Ahmia-Blacklist geprüft. Ungefilterte Engines fordern vor der Ausführung eine Bestätigung an. Diese Strategie ist immer noch nicht perfekt, gehen Sie bei der Suche und beim Scraping ungefilterter Engines stets mit äußerster Vorsicht und Urteilsvermögen vor.
darkdump-cli [-h] [-v] [-q QUERY] [-a AMOUNT] [-e ENGINE]
[-p] [-s] [-i] [-d] [-u] [-o FILE]
[--breach] [--breach-deep] [--breach-delay SECONDS]
# Einfache Suche über Ahmia (kein Tor erforderlich)
darkdump-cli -q "privacy tools" -a 10
# Suche und tiefes Scrapen jedes Ergebnisses über Tor
darkdump-cli -q "hacking" -a 10 -s -p
# Suche, Scrapen und Bilder sammeln
darkdump-cli -q "marketplaces" -a 15 -s -p -i
# Not Evil-Engine verwenden, deduplizieren, als JSON speichern
darkdump-cli -q "security research" -a 20 -e notevil -p -u -o results.json
# OnionLand-Engine verwenden, als CSV speichern
darkdump-cli -q "crypto" -a 10 -e onionland -p -o results.csv
# Breach-Intelligence-Scan für eine E-Mail-Adresse
darkdump-cli --breach -q [email protected] -e ahmia -p
# Breach-Scan mit tiefem Scrapen
darkdump-cli --breach --breach-deep -q example.com -e ahmia
Darkdump enthält eine lokale browserbasierte Oberfläche.
# Wenn über install.sh installiert
darkdump
# Oder direkt ausführen
python3 darkdump-web/app.py
Dann öffnen Sie http://127.0.0.1:50001 in Ihrem Browser.
Dieses Tool ist ausschließlich für legitime Sicherheitsforschung und OSINT-Untersuchungen gedacht. Der Entwickler Josh Schiavone ist nicht verantwortlich für Missbrauch. Verwenden Sie Darkdump nicht, um auf Seiten zuzugreifen oder diese zu untersuchen, die nach den Gesetzen und Vorschriften Ihres Zuständigkeitsbereichs illegale Aktivitäten durchführen. Möge Gott euch alle segnen.
MIT-Lizenz – Copyright (c) Josh Schiavone
| Engine | Gefiltert | Benötigt Tor | Hinweise |
|---|
ahmia | Ja | Nein | Standard. Vom Tor-Projekt empfohlen, strenge Filterung |
notevil | Teilweise | Ja | Ahmia-Fork mit breiterem Index |
tordex | Nein | Ja | Völlig unzensiert – Bestätigung erforderlich |
tor66 | Nein | Ja | Durchsuchter Index mit Verzeichnis – Bestätigung erforderlich |
onionland | Nein | Ja | Indiziert Tor, I2P und Clearnet – Bestätigung erforderlich |
excavator | Nein | Ja | Allgemeiner Darknet-Index – Bestätigung erforderlich |
| Flag | Beschreibung |
|---|
-q, --query | Suchanfrage |
-a, --amount | Anzahl der abzurufenden Ergebnisse (Standard: 10) |
-e, --engine | Zu verwendende Engine (Standard: ahmia) |
-p, --proxy | Anfragen über Tor leiten |
-s, --scrape | Jedes Ergebnis tief scrapen (Metadaten, Links, E-Mails, Dokumente) |
-i, --images | Auch Bilder während des Scrapings sammeln (erfordert -s) |
-u, --unique | Ergebnisse mit doppeltem Titel + Beschreibung ausblenden |
-d, --debug | Debug-Ausgabe aktivieren |
-o FILE, --output FILE | Ergebnisse in Datei speichern – Format wird aus der Erweiterung abgeleitet (.json, .csv, .txt) |
--breach | Einen Breach-/Credential-Leak-Intelligence-Scan für das angegebene Ziel durchführen |
--breach-deep | Breach-Scan mit tiefem Scrapen jedes Ergebnisses kombinieren |
--breach-delay | Sekunden zwischen Breach-Abfragen, um Ratenlimits zu vermeiden (Standard: 1.5) |
-v, --version | Version anzeigen |