dedsecinside/torbotEsegue la scansione di siti .onion tramite Tor per raccogliere titoli delle pagine, nomi host e relazioni tra link, esportando alberi JSON e visualizzazioni per indagini OSINT sul dark web.
<pre>
████████╗ ██████╗ ██████╗ ██████╗ ██████╗ ████████╗
╚══██╔══╝██╔═══██╗██╔══██╗ ██╔══██╗██╔═████╗╚══██╔══╝
██║ ██║ ██║██████╔╝ ██████╔╝██║██╔██║ ██║
██║ ██║ ██║██╔══██╗ ██╔══██╗████╔╝██║ ██║
██║ ╚██████╔╝██║ ██║ ██████╔╝╚██████╔╝ ██║
╚═╝ ╚═════╝ ╚═╝ ╚═╝ ╚═════╝ ╚═════╝ ╚═╝
Strumento di Open Source Intelligence per il Dark Web
</pre>
<p align="center">
<a href="https://owasp.org/www-project-torbot/">
<img src="https://assets.kitploit.com/production/public/readmes/58461/8902e5836a324eae0ab281a9be7d62683e025d503ce6778cce6768fb908c1089/44f87cefbeddabc12e5302f46a08c8c511e4ec48c814d7fbb70dc1c317e73552-display-v1.webp" width="270" title="OWASP Foundation">
</a>
<img src="https://assets.kitploit.com/production/public/readmes/58461/1cc64251df7a699491fb27a2d732f724bf9fe989efb8dd3f7fe750e316f2b333/2a88ed821677ed3b033b12c0815ff31e60d4e86357dbbfc127253fe018096b96-display-v1.webp" width="250" title="Hacktoberfest 2022">
<img src="https://assets.kitploit.com/production/public/readmes/58461/54bda09bea5708a8bec2bc836b8decebec80caecd37906f84e76799af642bb6a/159aa0dc48e84a932700c3326470bd3053551554561821e67f78d3db2982e745-display-v1.webp" width="160" title="OpenSource">
</p>
### Stato/Link social
[](https://github.com/DedSecInside/TorBot/actions/workflows/pytest.yml)
[](https://github.com/DedSecInside/TorBot/actions/workflows/flake8.yml)
[](https://join.slack.com/t/dedsec-inside/shared_invite/zt-i4jcgj8w-1ecHiSdRubwuppAzz8~yfg)
[](https://www.codetriage.com/dedsecinside/torbot)
[]()
[]()
### Funzionalità
1. Crawler Onion (.onion)
2. Restituisce il titolo della pagina o il nome host se non è disponibile un titolo della pagina, insieme all'indirizzo e a una breve descrizione del sito.
3. Salva i link in un database (Non completato)
4. Restituisce l'HTML di un sito o lo salva in un file HTML. (Non completato)
5. Salva l'albero dei link come file JSON.
6. Esegue la scansione di domini personalizzati
7. Verifica se il link è attivo
8. Aggiornamento integrato
9. Costruisce un albero visivo delle relazioni tra link che può essere visualizzato rapidamente o salvato in un file
### Miglioramenti recenti
- La CLI ora consente di eseguire `--version` e `--update` senza richiedere un URL.
- Il crawler ora risolve i link relativi rispetto alla pagina corrente e ignora in modo più efficiente gli href non supportati o malformati.
- L'interfaccia desktop opzionale TorBotApp può essere avviata dalla CLI con `torbot app` quando installata come checkout adiacente.
...(sarà aggiornato)
### Dipendenze
- Tor (Opzionale)
- Python 3.10+
- pip
## Avvio rapido
### Configurazione locale
```sh
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip install -e .
```
### Installazione con OTinstaller (Linux)
[OTinstaller](https://github.com/OSINTVerseHQ/OTinstaller) è un gestore di strumenti di terze parti che installa la release PyPI di `torbot` in un proprio virtualenv. Non è mantenuto dal team di TorBot, quindi segnala eventuali problemi [sul tracker di OTinstaller](https://github.com/OSINTVerseHQ/OTinstaller/issues).
```sh
pipx install otinstaller
otinstaller init
otinstaller install torbot
# url:... is passed to TorBot as -u; the other flags go through unchanged
otinstaller run torbot -- url:https://example.com --depth 2 --visualize table
```
### Esegui la CLI
```sh
python main.py --help
python main.py --version
python main.py -u https://example.com --depth 2 --visualize table
```
### Esempi comuni
```sh
# Gather basic site information
python main.py -u https://example.com --info
# Save the crawl tree as JSON
python main.py -u https://example.com --depth 2 --save json
# Disable SOCKS5 if you are not using Tor locally
python main.py -u https://example.com --disable-socks5 --visualize tree
# Launch the optional desktop app when TorBotApp is installed
torbot app
```
### Analisi AI basata sulle evidenze
Salva un risultato di scansione versionato e trasformalo in un bundle di indagine con citazioni:
```sh
torbot --url https://example.com --disable-socks5 \
--save result --result-file crawl-result.json
torbot analyze crawl-result.json --provider ollama --model qwen3 \
--output investigation/
```
Analyst usa per impostazione predefinita un endpoint Ollama locale. I provider remoti compatibili con OpenAI richiedono il flag esplicito `--allow-remote`. Ogni finding supportato deve citare le evidenze acquisite, e un'interruzione del provider non impedisce mai la scrittura del bundle di evidenze deterministico. Consulta [TorBot Analyst](https://github.com/dedsecinside/torbot/blob/dev/docs/ANALYST.md) per la guida rapida offline, i formati di output, i limiti di privacy e gli schemi.
### Opzioni
```text
usage: Gather and analyze data from Tor sites.
optional arguments:
-u URL, --url URL Specify a website link to crawl
--depth DEPTH Specify max depth of crawler (default 1)
-h, --help Show this help message and exit
--host Set IP address for SOCKS5 proxy (defaults to 127.0.0.1)
--port Set port for SOCKS5 proxy (defaults to 9050)
-v Displays DEBUG level logging, default is INFO
--version Show the current version of TorBot.
--update Update TorBot to the latest stable version
--app Run optional TorBot desktop app
--app-dir APP_DIR Path to a TorBotApp checkout
-q, --quiet Prevents display of header and IP address
--save FORMAT Save results in a file. (tree, JSON)
--visualize FORMAT Visualizes tree of data gathered. (tree, JSON, table)
-i, --info Info displays basic info of the scanned site
--disable-socks5 Executes HTTP requests without using SOCKS5 proxy
```
> `-u/--url` è obbligatorio per i comandi relativi al crawling come `--info`, `--save` e `--visualize`.
Se utilizzi Tor localmente, mantieni abilitato il proxy SOCKS5. Se non utilizzi Tor, aggiungi `--disable-socks5` per evitare errori di connessione al proxy.
Per saperne di più su torrc: [Torrc](https://github.com/DedSecInside/TorBoT/blob/master/Tor.md)
## App desktop opzionale
TorBot rimane uno strumento Python pensato principalmente per la CLI. L'interfaccia desktop risiede nel progetto Electron separato
[TorBotApp](https://github.com/KingAkeem/TorBotApp), così Node ed
Electron non sono necessari per gli utenti della CLI.
Per avviarla da questa CLI, installa TorBotApp come checkout adiacente:
```text
code/
+-- TorBot/
+-- TorBotApp/
```
Poi esegui:
```sh
torbot app
```
Se TorBotApp si trova altrove, utilizzare uno dei due:
```sh
TORBOT_APP_DIR=/path/to/TorBotApp torbot app
torbot --app --app-dir /path/to/TorBotApp
```
Consulta [Desktop App Architecture](https://github.com/dedsecinside/torbot/blob/dev/docs/DESKTOP_APP.md) per capire come la CLI, l'UI opzionale e i servizi backend si integrano tra loro.
## Funzionalità curate
- [x] Revisione del modulo di visualizzazione
- [x] Implementazione della ricerca BFS per il webcrawler
- [x] Miglioramento della stabilità (gestione degli errori in modo elegante, ampliamento della copertura dei test, ecc.)
- [x] Aumento della copertura dei test
- [ ] Salvataggio dei risultati di ricerca più recenti in un database
- [ ] Randomizzazione della connessione Tor (header e identità casuali)
- [ ] Ricerca per parola chiave/frase
- [ ] Integrazione con i social media
- [ ] Aumento dell'anonimato
- [ ] Cattura di screenshot
## Linee guida per i contributi
### Hai trovato un problema?
Se riscontri problemi nel progetto, faccelo sapere creando una nuova issue [qui](https://github.com/DedSecInside/TorBot/issues/new/choose).
### Linee guida per gli sviluppatori
Accogliamo con favore i contributi a questo progetto! Ecco alcune linee guida da seguire:
1. Esegui il fork del repository e crea un nuovo branch per il tuo contributo.
2. Assicurati che il tuo codice superi tutti i test eseguendo `pytest` prima di inviare una pull request al branch `dev`.
3. Segui la guida di stile [PEP8](https://www.python.org/dev/peps/pep-0008/) per il codice Python.
4. Assicurati di aggiungere una documentazione adeguata per qualsiasi nuova funzionalità o modifica.
5. Quando invii una pull request, fornisci una descrizione dettagliata delle modifiche apportate.
## Riferimenti
1. M. Glassman e M. J. Kang, “Intelligence in the internet age: The emergence and evolution of Open Source Intelligence (OSINT),” Comput. Human Behav., vol. 28, no. 2, pp. 673–682, 2012.
2. D. Bradbury, “In plain view: open source intelligence,” Comput. Fraud Secur., vol. 2011, no. 4, pp. 5–9, 2011.
3. B. Butler, B. Wardman e N. Pratt, “REAPER: an automated, scalable solution for mass credential harvesting and OSINT,” 2016 APWG Symp. Electron. Crime Res., pp. 1–10, 2016.
4. B. Zantout e R. A. Haraty, “I2P Data Communication System I2P Data Communication System,” no. April 2002, 2014.
5. J. Qin, Y. Zhou, G. Lai, E. Reid, M. Sageman e H. Chen, “The dark web portal project: collecting and analyzing the presence of terrorist groups on the web,” in Proceedings of the 2005 IEEE international conference on Intelligence and Security Informatics, 2005, pp. 623–624.
6. D. Moore, T. Rid, D. Moore e T. Rid, “Cryptopolitik and the Darknet Cryptopolitik and the Darknet,” vol. 6338, 2016.
7. G. Weimann, “Going dark: Terrorism on the dark Web,” Stud. Confl. Terror., vol. 39, no. 3, pp. 195–206, 2016.
8. A. T. Zulkarnine, R. Frank, B. Monk, J. Mitchell e G. Davies, “Surfacing collaborated networks in dark web to find illicit and criminal content,” in Intelligence and Security Informatics (ISI), 2016 IEEE Conference on, 2016, pp. 109–114.
9. T. Minárik e A.-M. Osula, “Tor does not stink: Use and abuse of the Tor anonymity network from the perspective of law,” Comput. Law Secur. Rev., vol. 32, no. 1, pp. 111–127, 2016.
10. K. Loesing, S. J. Murdoch e R. Dingledine, “A Case Study on Measuring Statistical Data in the {T}or Anonymity Network,” in Proceedings of the Workshop on Ethics in Computer Security Research (WECSR 2010), 2010.
11. B. Nafziger, “Data Mining in the Dark : Darknet Intelligence Automation,” 2017.
12. I. Sanchez-Rola, D. Balzarotti e I. Santos, “The onions have eyes: A comprehensive structure and privacy analysis of tor hidden services,” in Proceedings of the 26th International Conference on World Wide Web, 2017, pp. 1251–1260.
13. Mouli VR, Jevitha KP. “Web Services Attacks and Security-A Systematic Literature Review.”, Procedia Computer Science. 2016 Jan 1;93:870-7.
14. Cova M, Felmetsger V, Vigna G. "Vulnerability analysis of web-based applications. InTest and Analysis of Web Services" 2007 (pp. 363-394). Springer, Berlin, Heidelberg.
15. B. R. Holland, “Enabling Open Source Intelligence (OSINT) in private social networks,” 2012.
16. S. Nakamoto, “Bitcoin: A Peer-to-Peer Electronic Cash System,” Cryptogr. Mail. List https//metzdowd.com, 2009.
17. M. Wesam, A. Nabki, E. Fidalgo, E. Alegre e I. De Paz, “Classifying Illegal Activities on Tor Network Based on Web Textual Contents”, vol. 1, pp. 35–43, 2017.
18. Sathyadevan S, Gangadharan S.“Crime analysis and prediction using data mining”. In Networks & Soft Computing (ICNSC), 2014 First International Conference on 2014 Aug 19 (pp. 406-412). IEEE.
19. Chau M, Chen H. "A machine learning approach to web page filtering using content and structure analysis. Decision Support Systems." 2008 Jan 1;44(2):482-94.
20. Ani R, Jose J, Wilson M, Deepa OS. “Modified Rotation Forest Ensemble Classifier for Medical Diagnosis in Decision Support Systems”, In Progress in Advanced Computing and Intelligent Engineering 2018 (pp. 137-146). Springer, Singapore.
21. Ani R, Augustine A, Akhil N.C. e Deepa O.S., 2016. “Random Forest Ensemble Classifier to Predict the Coronary Heart Disease Using Risk Factors”, In Proceedings of the International Conference on Soft Computing Systems (pp. 701-710). Springer, New Delhi.
## Maintainer
- [X] [PS Narayanan](https://github.com/PSNAppz) - Co-proprietario
- [X] [KingAkeem](https://github.com/KingAkeem) - Co-proprietario
## Un ringraziamento a tutti i nostri contributori
<a href="https://github.com/DedSecInside/TorBot/graphs/contributors">
<img src="https://contrib.rocks/image?repo=DedSecInside/TorBot" />
</a>
## Licenza
[GNU Public License](https://github.com/DedSecInside/TorBot/blob/dev/LICENSE.md)