josh0xa/darkdumpInterface de renseignement open source pour le scraping du web profond
Darkdump est un outil OSINT open-source pour l'investigation sur le dark web. À partir d'une requête de recherche, il récupère des résultats de plusieurs moteurs de recherche du dark web, scrape optionnellement chaque site de résultat pour les e-mails, métadonnées, mots-clés, documents et images, et diffuse le tout en direct vers le terminal ou une interface locale basée sur un navigateur. Tous les résultats sont automatiquement filtrés par la liste noire publique d'abus d'Ahmia, quel que soit le moteur utilisé.
git clone https://github.com/josh0xA/darkdump
cd darkdump
chmod +x install.sh
./install.sh
darkdump
Remarque : ./install.sh peut nécessiter sudo sur macOS.
Ceci installe toutes les dépendances et crée deux commandes :
| Commande | Description |
|---|---|
darkdump | Lancer l'interface web principale |
darkdump-cli | Exécuter l'outil en ligne de commande |
git clone https://github.com/josh0xA/darkdump
cd darkdump
pip3 install -r requirements.txt
pip3 install -r darkdump-web/requirements.txt
Pour désinstaller les lanceurs : ./uninstall.sh
Pour utiliser Darkdump efficacement, vous devez configurer Tor pour permettre à votre script de le contrôler via le port de contrôle Tor. Voici comment configurer votre fichier torrc et vérifier que Tor est en cours d'exécution :
Si Tor n'est pas déjà installé sur votre système, vous devez l'installer. Voici comment installer Tor sur différents systèmes d'exploitation :
Debian/Kali/Ubuntu : sudo apt install tor
MacOS : brew install tor
Localisez votre fichier torrc. Ce fichier se trouve généralement dans /etc/tor/torrc sur Linux et parfois sur Mac.
Ajoutez les lignes suivantes à votre torrc pour activer le port de contrôle et définir un mot de passe pour le port de contrôle :
ControlPort 9051
HashedControlPassword [YourHashedPasswordHere]
Remplacez [YourHashedPasswordHere] par un mot de passe haché qui peut être généré à l'aide de la commande tor --hash-password : tor --hash-password "my_password"
Linux : sudo systemctl start tor.service
MacOS : brew services start tor
Six moteurs sont disponibles via -e / --engine :
Tous les moteurs voient leurs résultats vérifiés par rapport à la liste noire d'Ahmia. Les moteurs non filtrés demanderont une confirmation avant d'exécuter. Cette stratégie n'est toujours pas parfaite, utilisez toujours une extrême prudence et discernement lors de la recherche et du scraping de moteurs non filtrés.
darkdump-cli [-h] [-v] [-q QUERY] [-a AMOUNT] [-e ENGINE]
[-p] [-s] [-i] [-d] [-u] [-o FILE]
[--breach] [--breach-deep] [--breach-delay SECONDS]
# Basic search via Ahmia (no Tor required)
darkdump-cli -q "privacy tools" -a 10
# Search and deep scrape each result via Tor
darkdump-cli -q "hacking" -a 10 -s -p
# Search, scrape, and collect images
darkdump-cli -q "marketplaces" -a 15 -s -p -i
# Use Not Evil engine, deduplicate, save to JSON
darkdump-cli -q "security research" -a 20 -e notevil -p -u -o results.json
# Use OnionLand engine, save to CSV
darkdump-cli -q "crypto" -a 10 -e onionland -p -o results.csv
# Breach intelligence scan for an email address
darkdump-cli --breach -q [email protected] -e ahmia -p
# Breach scan with deep scraping
darkdump-cli --breach --breach-deep -q example.com -e ahmia
Darkdump inclut une interface locale basée sur un navigateur.
# If installed via install.sh
darkdump
# Or run directly
python3 darkdump-web/app.py
Ouvrez ensuite http://127.0.0.1:50001 dans votre navigateur.
Cet outil est destiné uniquement à la recherche en sécurité légitime et aux enquêtes OSINT. Le développeur, Josh Schiavone, n'est pas responsable de toute utilisation abusive. N'utilisez pas Darkdump pour accéder ou enquêter sur des sites impliqués dans des activités illégales en vertu des lois et réglementations de votre juridiction. Que Dieu vous bénisse tous.
Licence MIT — Copyright (c) Josh Schiavone
| Moteur | Filtré | Nécessite Tor | Remarques |
|---|
ahmia | Oui | Non | Par défaut. Approuvé par le projet Tor, filtrage strict |
notevil | Partiel | Oui | Fork d'Ahmia avec un index plus large |
tordex | Non | Oui | Totalement non censuré — confirmation requise |
tor66 | Non | Oui | Index exploré avec annuaire — confirmation requise |
onionland | Non | Oui | Indexe Tor, I2P et clearnet — confirmation requise |
excavator | Non | Oui | Index général du dark web — confirmation requise |
| Option | Description |
|---|
-q, --query | Requête de recherche |
-a, --amount | Nombre de résultats à récupérer (par défaut : 10) |
-e, --engine | Moteur à utiliser (par défaut : ahmia) |
-p, --proxy | Acheminer les requêtes via Tor |
-s, --scrape | Scraping approfondi de chaque résultat pour les métadonnées, liens, e-mails, documents |
-i, --images | Collecter aussi les images lors du scraping (nécessite -s) |
-u, --unique | Masquer les résultats avec titre + description en double |
-d, --debug | Activer les sorties de débogage |
-o FILE, --output FILE | Enregistrer les résultats dans un fichier — le format est déduit de l'extension (.json, .csv, .txt) |
--breach | Lancer une analyse de renseignement sur les fuites / credentials pour la cible donnée |
--breach-deep | Combiner l'analyse des fuites avec un scraping approfondi de chaque résultat |
--breach-delay | Secondes entre les requêtes de fuite pour éviter les limites de débit (par défaut : 1.5) |
-v, --version | Afficher la version |