
Parcourt les sites .onion via Tor pour collecter les titres de pages, les noms d'hôtes et les relations de liens, en exportant des arborescences JSON et des visualisations pour les enquêtes OSINT sur le dark web.
<pre>
████████╗ ██████╗ ██████╗ ██████╗ ██████╗ ████████╗
╚══██╔══╝██╔═══██╗██╔══██╗ ██╔══██╗██╔═████╗╚══██╔══╝
██║ ██║ ██║██████╔╝ ██████╔╝██║██╔██║ ██║
██║ ██║ ██║██╔══██╗ ██╔══██╗████╔╝██║ ██║
██║ ╚██████╔╝██║ ██║ ██████╔╝╚██████╔╝ ██║
╚═╝ ╚═════╝ ╚═╝ ╚═╝ ╚═════╝ ╚═════╝ ╚═╝
Outil de renseignement en sources ouvertes pour le Dark Web
</pre>
<p align="center">
<a href="https://owasp.org/www-project-torbot/">
<img src="https://assets.kitploit.com/production/public/readmes/58461/8902e5836a324eae0ab281a9be7d62683e025d503ce6778cce6768fb908c1089/44f87cefbeddabc12e5302f46a08c8c511e4ec48c814d7fbb70dc1c317e73552-display-v1.webp" width="270" title="OWASP Foundation">
</a>
<img src="https://assets.kitploit.com/production/public/readmes/58461/1cc64251df7a699491fb27a2d732f724bf9fe989efb8dd3f7fe750e316f2b333/2a88ed821677ed3b033b12c0815ff31e60d4e86357dbbfc127253fe018096b96-display-v1.webp" width="250" title="Hacktoberfest 2022">
<img src="https://assets.kitploit.com/production/public/readmes/58461/54bda09bea5708a8bec2bc836b8decebec80caecd37906f84e76799af642bb6a/159aa0dc48e84a932700c3326470bd3053551554561821e67f78d3db2982e745-display-v1.webp" width="160" title="OpenSource">
</p>
### Statut/Liens sociaux
[](https://github.com/DedSecInside/TorBot/actions/workflows/pytest.yml)
[](https://github.com/DedSecInside/TorBot/actions/workflows/flake8.yml)
[](https://join.slack.com/t/dedsec-inside/shared_invite/zt-i4jcgj8w-1ecHiSdRubwuppAzz8~yfg)
[](https://www.codetriage.com/dedsecinside/torbot)
[]()
[]()
### Fonctionnalités
1. Crawler Onion (.onion)
2. Renvoie le titre de la page ou le nom d'hôte si aucun titre de page n'est disponible, ainsi que l'adresse avec une courte description du site.
3. Enregistre les liens dans une base de données (Non réalisé)
4. Affiche le HTML d'un site ou l'enregistre dans un fichier HTML. (Non réalisé)
5. Enregistre l'arborescence des liens dans un fichier JSON.
6. Explore des domaines personnalisés
7. Vérifie si le lien est actif
8. Mise à jour intégrée
9. Construit une arborescence visuelle des relations entre liens, consultable rapidement ou enregistrable dans un fichier
### Améliorations récentes
- La CLI permet désormais à `--version` et `--update` de s'exécuter sans nécessiter d'URL.
- Le crawler résout désormais les liens relatifs par rapport à la page courante et ignore plus élégamment les hrefs non pris en charge ou malformés.
- L'interface de bureau optionnelle TorBotApp peut être lancée depuis la CLI avec `torbot app` lorsqu'elle est installée en tant que checkout voisin.
...(sera mis à jour)
### Dépendances
- Tor (Optionnel)
- Python 3.10+
- pip
## Démarrage rapide
### Installation locale
```sh
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip install -e .
```
### Installer avec OTinstaller (Linux)
[OTinstaller](https://github.com/OSINTVerseHQ/OTinstaller) est un gestionnaire d'outils tiers qui installe la version PyPI de `torbot` dans son propre virtualenv. Il n'est pas maintenu par l'équipe TorBot, veuillez donc signaler les problèmes rencontrés [sur le tracker d'OTinstaller](https://github.com/OSINTVerseHQ/OTinstaller/issues).
```sh
pipx install otinstaller
otinstaller init
otinstaller install torbot
# url:... is passed to TorBot as -u; the other flags go through unchanged
otinstaller run torbot -- url:https://example.com --depth 2 --visualize table
```
### Exécuter la CLI
```sh
python main.py --help
python main.py --version
python main.py -u https://example.com --depth 2 --visualize table
```
### Exemples courants
```sh
# Gather basic site information
python main.py -u https://example.com --info
# Save the crawl tree as JSON
python main.py -u https://example.com --depth 2 --save json
# Disable SOCKS5 if you are not using Tor locally
python main.py -u https://example.com --disable-socks5 --visualize tree
# Launch the optional desktop app when TorBotApp is installed
torbot app
```
### Analyse IA fondée sur les preuves
Enregistrez un résultat de crawl versionné et transformez-le en un dossier d'enquête cité :
```sh
torbot --url https://example.com --disable-socks5 \
--save result --result-file crawl-result.json
torbot analyze crawl-result.json --provider ollama --model qwen3 \
--output investigation/
```
Analyst utilise par défaut un point de terminaison Ollama local. Les fournisseurs distants compatibles OpenAI nécessitent le flag explicite `--allow-remote`. Chaque constat pris en charge doit citer les preuves capturées, et une panne d'un fournisseur n'empêche jamais l'écriture du bundle de preuves déterministe. Consultez [TorBot Analyst](https://github.com/dedsecinside/torbot/blob/dev/docs/ANALYST.md) pour le démarrage rapide hors ligne, les formats de sortie, la limite de confidentialité et les schémas.
### Options
```text
usage: Gather and analyze data from Tor sites.
optional arguments:
-u URL, --url URL Specify a website link to crawl
--depth DEPTH Specify max depth of crawler (default 1)
-h, --help Show this help message and exit
--host Set IP address for SOCKS5 proxy (defaults to 127.0.0.1)
--port Set port for SOCKS5 proxy (defaults to 9050)
-v Displays DEBUG level logging, default is INFO
--version Show the current version of TorBot.
--update Update TorBot to the latest stable version
--app Run optional TorBot desktop app
--app-dir APP_DIR Path to a TorBotApp checkout
-q, --quiet Prevents display of header and IP address
--save FORMAT Save results in a file. (tree, JSON)
--visualize FORMAT Visualizes tree of data gathered. (tree, JSON, table)
-i, --info Info displays basic info of the scanned site
--disable-socks5 Executes HTTP requests without using SOCKS5 proxy
```
> `-u/--url` est requis pour les commandes liées au crawl telles que `--info`, `--save` et `--visualize`.
Si vous utilisez Tor localement, gardez le proxy SOCKS5 activé. Si vous n'utilisez pas Tor, ajoutez `--disable-socks5` pour éviter les erreurs de connexion au proxy.
Pour en savoir plus sur torrc, consultez : [Torrc](https://github.com/DedSecInside/TorBoT/blob/master/Tor.md)
## Application de bureau facultative
TorBot reste un outil Python orienté CLI. L'interface de bureau se trouve dans le projet Electron séparé
[TorBotApp](https://github.com/KingAkeem/TorBotApp), afin que Node et
Electron ne soient pas requis pour les utilisateurs de la CLI.
Pour la lancer depuis cette CLI, installez TorBotApp en tant que dépôt voisin :
```text
code/
+-- TorBot/
+-- TorBotApp/
```
Puis exécutez :
```sh
torbot app
```
Si TorBotApp se trouve ailleurs, utilisez soit :
```sh
TORBOT_APP_DIR=/path/to/TorBotApp torbot app
torbot --app --app-dir /path/to/TorBotApp
```
Voir [Architecture de l'application de bureau](https://github.com/dedsecinside/torbot/blob/dev/docs/DESKTOP_APP.md) pour comprendre comment la CLI, l'interface utilisateur optionnelle et les services backend s'articulent.
## Fonctionnalités sélectionnées
- [x] Refonte du module de visualisation
- [x] Implémentation de la recherche BFS pour le webcrawler
- [x] Amélioration de la stabilité (gestion élégante des erreurs, extension de la couverture des tests, etc.)
- [x] Augmentation de la couverture des tests
- [ ] Sauvegarde des résultats de recherche les plus récents dans une base de données
- [ ] Randomisation de la connexion Tor (en-tête et identité aléatoires)
- [ ] Recherche par mot-clé/expression
- [ ] Intégration des médias sociaux
- [ ] Augmentation de l'anonymat
- [ ] Capture d'écran
## Directives de contribution
### Vous avez trouvé un problème ?
Si vous rencontrez des problèmes dans le projet, veuillez nous en informer en créant une nouvelle issue [ici](https://github.com/DedSecInside/TorBot/issues/new/choose).
### Directives pour les développeurs
Nous accueillons favorablement les contributions à ce projet ! Voici quelques directives à suivre :
1. Forkez le dépôt et créez une nouvelle branche pour votre contribution.
2. Assurez-vous que votre code passe tous les tests en exécutant `pytest` avant de soumettre une pull request vers la branche `dev`.
3. Suivez le guide de style [PEP8](https://www.python.org/dev/peps/pep-0008/) pour le code Python.
4. Assurez-vous d'ajouter une documentation appropriée pour toute nouvelle fonctionnalité ou modification.
5. Lors de la soumission d'une pull request, veuillez fournir une description détaillée des modifications apportées.
## Références
1. M. Glassman et M. J. Kang, « Intelligence in the internet age: The emergence and evolution of Open Source Intelligence (OSINT) », Comput. Human Behav., vol. 28, no. 2, pp. 673–682, 2012.
2. D. Bradbury, « In plain view: open source intelligence », Comput. Fraud Secur., vol. 2011, no. 4, pp. 5–9, 2011.
3. B. Butler, B. Wardman et N. Pratt, « REAPER: an automated, scalable solution for mass credential harvesting and OSINT », 2016 APWG Symp. Electron. Crime Res., pp. 1–10, 2016.
4. B. Zantout et R. A. Haraty, « I2P Data Communication System I2P Data Communication System », no. April 2002, 2014.
5. J. Qin, Y. Zhou, G. Lai, E. Reid, M. Sageman et H. Chen, « The dark web portal project: collecting and analyzing the presence of terrorist groups on the web », in Proceedings of the 2005 IEEE international conference on Intelligence and Security Informatics, 2005, pp. 623–624.
6. D. Moore, T. Rid, D. Moore et T. Rid, « Cryptopolitik and the Darknet Cryptopolitik and the Darknet », vol. 6338, 2016.
7. G. Weimann, « Going dark: Terrorism on the dark Web », Stud. Confl. Terror., vol. 39, no. 3, pp. 195–206, 2016.
8. A. T. Zulkarnine, R. Frank, B. Monk, J. Mitchell et G. Davies, « Surfacing collaborated networks in dark web to find illicit and criminal content », in Intelligence and Security Informatics (ISI), 2016 IEEE Conference on, 2016, pp. 109–114.
9. T. Minárik et A.-M. Osula, « Tor does not stink: Use and abuse of the Tor anonymity network from the perspective of law », Comput. Law Secur. Rev., vol. 32, no. 1, pp. 111–127, 2016.
10. K. Loesing, S. J. Murdoch et R. Dingledine, « A Case Study on Measuring Statistical Data in the {T}or Anonymity Network », in Proceedings of the Workshop on Ethics in Computer Security Research (WECSR 2010), 2010.
11. B. Nafziger, « Data Mining in the Dark : Darknet Intelligence Automation », 2017.
12. I. Sanchez-Rola, D. Balzarotti et I. Santos, « The onions have eyes: A comprehensive structure and privacy analysis of tor hidden services », in Proceedings of the 26th International Conference on World Wide Web, 2017, pp. 1251–1260.
13. Mouli VR, Jevitha KP. « Web Services Attacks and Security-A Systematic Literature Review. », Procedia Computer Science. 2016 Jan 1;93:870-7.
14. Cova M, Felmetsger V, Vigna G. « Vulnerability analysis of web-based applications. InTest and Analysis of Web Services » 2007 (pp. 363-394). Springer, Berlin, Heidelberg.
15. B. R. Holland, « Enabling Open Source Intelligence (OSINT) in private social networks », 2012.
16. S. Nakamoto, « Bitcoin: A Peer-to-Peer Electronic Cash System », Cryptogr. Mail. List https//metzdowd.com, 2009.
17. M. Wesam, A. Nabki, E. Fidalgo, E. Alegre et I. De Paz, « Classifying Illegal Activities on Tor Network Based on Web Textual Contents », vol. 1, pp. 35–43, 2017.
18. Sathyadevan S, Gangadharan S. « Crime analysis and prediction using data mining ». In Networks & Soft Computing (ICNSC), 2014 First International Conference on 2014 Aug 19 (pp. 406-412). IEEE.
19. Chau M, Chen H. « A machine learning approach to web page filtering using content and structure analysis. Decision Support Systems. » 2008 Jan 1;44(2):482-94.
20. Ani R, Jose J, Wilson M, Deepa OS. « Modified Rotation Forest Ensemble Classifier for Medical Diagnosis in Decision Support Systems », In Progress in Advanced Computing and Intelligent Engineering 2018 (pp. 137-146). Springer, Singapore.
21. Ani R, Augustine A, Akhil N.C. et Deepa O.S., 2016. « Random Forest Ensemble Classifier to Predict the Coronary Heart Disease Using Risk Factors », In Proceedings of the International Conference on Soft Computing Systems (pp. 701-710). Springer, New Delhi.
## Mainteneurs
- [X] [PS Narayanan](https://github.com/PSNAppz) - Copropriétaire
- [X] [KingAkeem](https://github.com/KingAkeem) - Copropriétaire
## Merci à tous nos contributeurs
<a href="https://github.com/DedSecInside/TorBot/graphs/contributors">
<img src="https://contrib.rocks/image?repo=DedSecInside/TorBot" />
</a>
## Licence
[GNU Public License](https://github.com/DedSecInside/TorBot/blob/dev/LICENSE.md)