dedsecinside/torbotОбходит сайты .onion через Tor для сбора заголовков страниц, имён хостов и связей между ссылками, экспортируя JSON-деревья и визуализации для OSINT-исследований даркнета.
<pre>
████████╗ ██████╗ ██████╗ ██████╗ ██████╗ ████████╗
╚══██╔══╝██╔═══██╗██╔══██╗ ██╔══██╗██╔═████╗╚══██╔══╝
██║ ██║ ██║██████╔╝ ██████╔╝██║██╔██║ ██║
██║ ██║ ██║██╔══██╗ ██╔══██╗████╔╝██║ ██║
██║ ╚██████╔╝██║ ██║ ██████╔╝╚██████╔╝ ██║
╚═╝ ╚═════╝ ╚═╝ ╚═╝ ╚═════╝ ╚═════╝ ╚═╝
Инструмент разведки на основе открытых источников для даркнета
</pre>
<p align="center">
<a href="https://owasp.org/www-project-torbot/">
<img src="https://assets.kitploit.com/production/public/readmes/58461/8902e5836a324eae0ab281a9be7d62683e025d503ce6778cce6768fb908c1089/44f87cefbeddabc12e5302f46a08c8c511e4ec48c814d7fbb70dc1c317e73552-display-v1.webp" width="270" title="OWASP Foundation">
</a>
<img src="https://assets.kitploit.com/production/public/readmes/58461/1cc64251df7a699491fb27a2d732f724bf9fe989efb8dd3f7fe750e316f2b333/2a88ed821677ed3b033b12c0815ff31e60d4e86357dbbfc127253fe018096b96-display-v1.webp" width="250" title="Hacktoberfest 2022">
<img src="https://assets.kitploit.com/production/public/readmes/58461/54bda09bea5708a8bec2bc836b8decebec80caecd37906f84e76799af642bb6a/159aa0dc48e84a932700c3326470bd3053551554561821e67f78d3db2982e745-display-v1.webp" width="160" title="OpenSource">
</p>
### Статус и социальные ссылки
[](https://github.com/DedSecInside/TorBot/actions/workflows/pytest.yml)
[](https://github.com/DedSecInside/TorBot/actions/workflows/flake8.yml)
[](https://join.slack.com/t/dedsec-inside/shared_invite/zt-i4jcgj8w-1ecHiSdRubwuppAzz8~yfg)
[](https://www.codetriage.com/dedsecinside/torbot)
[]()
[]()
### Возможности
1. Сканер Onion-сайтов (.onion)
2. Возвращает заголовок страницы или имя хоста, если заголовок страницы недоступен, а также адрес с кратким описанием сайта.
3. Сохраняет ссылки в базу данных (не реализовано)
4. Выводит HTML-код сайта или сохраняет его в HTML-файл. (не реализовано)
5. Сохраняет дерево ссылок в виде JSON-файла.
6. Сканирует пользовательские домены
7. Проверяет, доступна ли ссылка
8. Встроенный модуль обновления
9. Строит визуальное дерево связей между ссылками, которое можно быстро просмотреть или сохранить в файл
### Последние улучшения
- CLI теперь позволяет запускать `--version` и `--update` без указания URL.
- Сканер теперь разрешает относительные ссылки относительно текущей страницы и более корректно пропускает неподдерживаемые или некорректные href.
- Необязательный десктопный интерфейс TorBotApp можно запустить из CLI командой `torbot app`, если он установлен как соседний репозиторий.
...(будет обновлено)
### Зависимости
- Tor (опционально)
- Python 3.10+
- pip
## Быстрый старт
### Локальная установка
```sh
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip install -e .
```
### Установка с помощью OTinstaller (Linux)
[OTinstaller](https://github.com/OSINTVerseHQ/OTinstaller) — сторонний менеджер инструментов, который устанавливает PyPI-релиз `torbot` в собственное виртуальное окружение. Он не поддерживается командой TorBot, поэтому сообщайте о проблемах с ним [в трекере OTinstaller](https://github.com/OSINTVerseHQ/OTinstaller/issues).
```sh
pipx install otinstaller
otinstaller init
otinstaller install torbot
# url:... is passed to TorBot as -u; the other flags go through unchanged
otinstaller run torbot -- url:https://example.com --depth 2 --visualize table
```
### Запуск CLI
```sh
python main.py --help
python main.py --version
python main.py -u https://example.com --depth 2 --visualize table
```
### Типичные примеры
```sh
# Gather basic site information
python main.py -u https://example.com --info
# Save the crawl tree as JSON
python main.py -u https://example.com --depth 2 --save json
# Disable SOCKS5 if you are not using Tor locally
python main.py -u https://example.com --disable-socks5 --visualize tree
# Launch the optional desktop app when TorBotApp is installed
torbot app
```
### Анализ на основе доказательств с помощью ИИ
Сохраните версионированный результат обхода и превратите его в пакет расследования со ссылками на источники:
```sh
torbot --url https://example.com --disable-socks5 \
--save result --result-file crawl-result.json
torbot analyze crawl-result.json --provider ollama --model qwen3 \
--output investigation/
```
Analyst по умолчанию использует локальную конечную точку Ollama. Удалённые
провайдеры, совместимые с OpenAI, требуют явного флага `--allow-remote`. Каждая
поддерживаемая находка должна ссылаться на зафиксированные доказательства, и
сбой провайдера никогда не препятствует записи детерминированного пакета
доказательств. См.
[TorBot Analyst](https://github.com/dedsecinside/torbot/blob/dev/docs/ANALYST.md) для офлайн-быстрого старта, форматов вывода,
границ приватности и схем.
### Опции
```text
usage: Gather and analyze data from Tor sites.
optional arguments:
-u URL, --url URL Specify a website link to crawl
--depth DEPTH Specify max depth of crawler (default 1)
-h, --help Show this help message and exit
--host Set IP address for SOCKS5 proxy (defaults to 127.0.0.1)
--port Set port for SOCKS5 proxy (defaults to 9050)
-v Displays DEBUG level logging, default is INFO
--version Show the current version of TorBot.
--update Update TorBot to the latest stable version
--app Run optional TorBot desktop app
--app-dir APP_DIR Path to a TorBotApp checkout
-q, --quiet Prevents display of header and IP address
--save FORMAT Save results in a file. (tree, JSON)
--visualize FORMAT Visualizes tree of data gathered. (tree, JSON, table)
-i, --info Info displays basic info of the scanned site
--disable-socks5 Executes HTTP requests without using SOCKS5 proxy
```
> `-u/--url` обязателен для команд, связанных с обходом, таких как `--info`, `--save` и `--visualize`.
Если вы используете Tor локально, оставьте SOCKS5-прокси включённым. Если вы не используете Tor, добавьте `--disable-socks5`, чтобы избежать ошибок подключения через прокси.
Подробнее о torrc читайте здесь: [Torrc](https://github.com/DedSecInside/TorBoT/blob/master/Tor.md)
## Опциональное десктопное приложение
TorBot остаётся Python-инструментом с приоритетом CLI. Десктопный интерфейс находится в отдельном
Electron-проекте [TorBotApp](https://github.com/KingAkeem/TorBotApp), поэтому Node и
Electron не требуются пользователям CLI.
Чтобы запустить его из этого CLI, установите TorBotApp как соседнюю копию репозитория:
```text
code/
+-- TorBot/
+-- TorBotApp/
```
Затем выполните:
```sh
torbot app
```
Если TorBotApp находится в другом месте, используйте один из вариантов:
```sh
TORBOT_APP_DIR=/path/to/TorBotApp torbot app
torbot --app --app-dir /path/to/TorBotApp
```
См. [Архитектура настольного приложения](https://github.com/dedsecinside/torbot/blob/dev/docs/DESKTOP_APP.md), чтобы узнать, как CLI, опциональный UI и серверные службы взаимодействуют друг с другом.
## Отобранные функции
- [x] Переработка модуля визуализации
- [x] Реализация поиска BFS для веб-краулера
- [x] Повышение стабильности (корректная обработка ошибок, расширение покрытия тестами и т. д.)
- [x] Увеличение покрытия тестами
- [ ] Сохранение последних результатов поиска в базу данных
- [ ] Рандомизация Tor-соединения (случайные заголовки и идентичность)
- [ ] Поиск по ключевым словам/фразам
- [ ] Интеграция с социальными сетями
- [ ] Повышение анонимности
- [ ] Захват скриншотов
## Правила участия
### Нашли проблему?
Если вы столкнулись с какими-либо проблемами в проекте, пожалуйста, сообщите нам, создав новый issue [здесь](https://github.com/DedSecInside/TorBot/issues/new/choose).
### Рекомендации для разработчиков
Мы приветствуем вклад в этот проект! Вот несколько рекомендаций, которых следует придерживаться:
1. Сделайте форк репозитория и создайте новую ветку для своего вклада.
2. Убедитесь, что ваш код проходит все тесты, запустив `pytest` перед отправкой pull request в ветку `dev`.
3. Следуйте руководству по стилю [PEP8](https://www.python.org/dev/peps/pep-0008/) для кода на Python.
4. Обязательно добавьте соответствующую документацию для любых новых функций или изменений.
5. При отправке pull request, пожалуйста, предоставьте подробное описание внесённых изменений.
## Ссылки
1. M. Glassman and M. J. Kang, “Intelligence in the internet age: The emergence and evolution of Open Source Intelligence (OSINT),” Comput. Human Behav., vol. 28, no. 2, pp. 673–682, 2012.
2. D. Bradbury, “In plain view: open source intelligence,” Comput. Fraud Secur., vol. 2011, no. 4, pp. 5–9, 2011.
3. B. Butler, B. Wardman, and N. Pratt, “REAPER: an automated, scalable solution for mass credential harvesting and OSINT,” 2016 APWG Symp. Electron. Crime Res., pp. 1–10, 2016.
4. B. Zantout and R. A. Haraty, “I2P Data Communication System I2P Data Communication System,” no. April 2002, 2014.
5. J. Qin, Y. Zhou, G. Lai, E. Reid, M. Sageman, and H. Chen, “The dark web portal project: collecting and analyzing the presence of terrorist groups on the web,” in Proceedings of the 2005 IEEE international conference on Intelligence and Security Informatics, 2005, pp. 623–624.
6. D. Moore, T. Rid, D. Moore, and T. Rid, “Cryptopolitik and the Darknet Cryptopolitik and the Darknet,” vol. 6338, 2016.
7. G. Weimann, “Going dark: Terrorism on the dark Web,” Stud. Confl. Terror., vol. 39, no. 3, pp. 195–206, 2016.
8. A. T. Zulkarnine, R. Frank, B. Monk, J. Mitchell, and G. Davies, “Surfacing collaborated networks in dark web to find illicit and criminal content,” in Intelligence and Security Informatics (ISI), 2016 IEEE Conference on, 2016, pp. 109–114.
9. T. Minárik and A.-M. Osula, “Tor does not stink: Use and abuse of the Tor anonymity network from the perspective of law,” Comput. Law Secur. Rev., vol. 32, no. 1, pp. 111–127, 2016.
10. K. Loesing, S. J. Murdoch, and R. Dingledine, “A Case Study on Measuring Statistical Data in the {T}or Anonymity Network,” in Proceedings of the Workshop on Ethics in Computer Security Research (WECSR 2010), 2010.
11. B. Nafziger, “Data Mining in the Dark : Darknet Intelligence Automation,” 2017.
12. I. Sanchez-Rola, D. Balzarotti, and I. Santos, “The onions have eyes: A comprehensive structure and privacy analysis of tor hidden services,” in Proceedings of the 26th International Conference on World Wide Web, 2017, pp. 1251–1260.
13. Mouli VR, Jevitha KP. “Web Services Attacks and Security-A Systematic Literature Review.”, Procedia Computer Science. 2016 Jan 1;93:870-7.
14. Cova M, Felmetsger V, Vigna G. "Vulnerability analysis of web-based applications. InTest and Analysis of Web Services" 2007 (pp. 363-394). Springer, Berlin, Heidelberg.
15. B. R. Holland, “Enabling Open Source Intelligence (OSINT) in private social networks,” 2012.
16. S. Nakamoto, “Bitcoin: A Peer-to-Peer Electronic Cash System,” Cryptogr. Mail. List https//metzdowd.com, 2009.
17. M. Wesam, A. Nabki, E. Fidalgo, E. Alegre, and I. De Paz, “Classifying Illegal Activities on Tor Network Based on Web Textual Contents”, vol. 1, pp. 35–43, 2017.
18. Sathyadevan S, Gangadharan S.“Crime analysis and prediction using data mining”. In Networks & Soft Computing (ICNSC), 2014 First International Conference on 2014 Aug 19 (pp. 406-412). IEEE.
19. Chau M, Chen H. "A machine learning approach to web page filtering using content and structure analysis. Decision Support Systems." 2008 Jan 1;44(2):482-94.
20. Ani R, Jose J, Wilson M, Deepa OS. “Modified Rotation Forest Ensemble Classifier for Medical Diagnosis in Decision Support Systems”, In Progress in Advanced Computing and Intelligent Engineering 2018 (pp. 137-146). Springer, Singapore.
21. Ani R, Augustine A, Akhil N.C. and Deepa O.S., 2016. “Random Forest Ensemble Classifier to Predict the Coronary Heart Disease Using Risk Factors”, In Proceedings of the International Conference on Soft Computing Systems (pp. 701-710). Springer, New Delhi.
## Сопровождающие
- [X] [PS Narayanan](https://github.com/PSNAppz) — со-владелец
- [X] [KingAkeem](https://github.com/KingAkeem) — со-владелец
## Всем спасибо нашим контрибьюторам
<a href="https://github.com/DedSecInside/TorBot/graphs/contributors">
<img src="https://contrib.rocks/image?repo=DedSecInside/TorBot" />
</a>
## Лицензия
[GNU Public License](https://github.com/DedSecInside/TorBot/blob/dev/LICENSE.md)