Fresh Onions — краулер скрытых сервисов TOR

Это копия исходного кода скрытого сервиса http://zlal32teyptf4tvi.onion, который реализует краулер/паук для скрытых сервисов tor и веб-сайт.

Возможности

• Сканирует даркнет в поисках новых скрытых сервисов
• Находит скрытые сервисы из ряда источников в открытой сети (clearnet)
• Опциональная поддержка полнотекстового поиска через Elasticsearch
• Помечает сайты-клоны из суперсписка /r/darknet
• Находит SSH-отпечатки на скрытых сервисах
• Находит email-адреса на скрытых сервисах
• Находит биткойн-адреса на скрытых сервисах
• Показывает входящие/исходящие ссылки на onion-домены
• Актуальный статус скрытых сервисов (работает/не работает)
• Сканер портов
• Поиск «интересных» путей URL, полезное обнаружение 404
• Автоматическое определение языка
• Нечеткое обнаружение клонов (требуется Elasticsearch, более продвинутое, чем обнаружение клонов из суперсписка)

Лицензия

Это программное обеспечение предоставляется под лицензией GNU Affero GPL 3.. Это означает, что если вы развертываете это программное обеспечение как часть сетевого программного обеспечения, доступного публике, вы должны предоставить исходный код (и любые модификации).

С сайта GNU:

GNU Affero General Public License — это модифицированная версия обычной GNU GPL версии 3. В ней есть одно дополнительное требование: если вы запускаете модифицированную программу на сервере и позволяете другим пользователям взаимодействовать с ней, ваш сервер также должен позволять им загружать исходный код, соответствующий запущенной модифицированной версии.

Зависимости

• python
• tor

установка через pip:

pip install -r requirements.txt

Установка

Создайте базу данных MySQL из schema.sql

Отредактируйте etc/database для настройки базы данных

Отредактируйте etc/proxy для настройки TOR

script/push.sh someoniondirectory.onion 
script/push.sh anotheroniondirectory.onion

Отредактируйте etc/uwsgi_only и установите BASEDIR в каталог, где установлен torscraper (например, /home/user/torscraper)

Запустите:

init/scraper_service.sh # для запуска сканирования
init/isup_service.sh # для поддержания актуального статуса сайта

Опциональный полнотекстовый поиск ElasticSearch

Torscraper поставляется с опциональной возможностью использования Elasticsearch (включено по умолчанию). Отредактируйте etc/elasticsearch и установите переменные или установите ELASTICSEARCH_ENABLED=false для отключения. Запустите scripts/elasticsearch_migrate.sh для выполнения начальной настройки после конфигурации.

Если Elasticsearch отключен, полнотекстовый поиск будет недоступен, однако сканирование и обнаружение новых сайтов всё равно будут работать.

задачи cron

# сбор onion-адресов из разных источников
1 18 * * * /home/scraper/torscraper/scripts/harvest.sh

# получение SSH-отпечатков для новых сайтов
1 4,16 * * * /home/scraper/torscraper/scripts/update_fingerprints.sh

# пометка сайтов как настоящих/поддельных из суперсписка /r/darknetmarkets
1 9 * * 1 /home/scraper/torscraper/scripts/get_valid.sh

# сбор onion-адресов с Pastebin (требуется платный аккаунт / белый список IP)
*/5 * * * * /home/scraper/torscraper/scripts/pastebin.sh

# сканирование портов новых onion-сайтов
1 */6 * * * /home/scraper/torscraper/scripts/portscan_up.sh

# сбор вставок stronghold
32 */2 * * * /home/scraper/torscraper/scripts/stronghold_paste_rip.sh

# обнаружение клонов
16 3 * * * /home/scraper/torscraper/scripts/detect_clones.sh

Инфраструктура

Fresh Onions работает на двух серверах: фронтальный хост с базой данных и веб-сайтом скрытого сервиса, и бэкенд-хост с краулером. Вероятно, читателю будет наиболее интересна настройка бэкенда. TOR как клиент является ПОЛНОСТЬЮ ОДНОПОТОЧНЫМ. Я знаю! Сейчас 2017 год, и наряду с полным отсутствием летающих автомобилей TOR работает в одном потоке. Это означает, что если вы попытаетесь запустить краулер на одном экземпляре TOR, вы быстро обнаружите, что ваш процессор загружен на 100%.

Решение этой проблемы — запуск нескольких экземпляров TOR и подключение к ним через какой-либо фронтенд, который будет распределять запросы по кругу (round-robin). Краулер Fresh Onions запускает восемь экземпляров Tor.

Debian (и Ubuntu) поставляется с полезной программой "tor-instance-create" для быстрого создания нескольких экземпляров TOR. Я использовал Squid в качестве фронтального прокси, но, к сожалению, он не может напрямую подключаться к SOCKS, поэтому я использовал "privoxy" как промежуточный прокси. Вам понадобится один экземпляр privoxy для каждого экземпляра TOR. В скрипте "scripts/create_privoxy.sh" есть помощь в создании экземпляров privoxy на системах Debian. Также полезно заменить /etc/privoxy/default.filter пустым файлом, чтобы снизить нагрузку на ЦП, удалив ненужные регулярные выражения.

Кроме того, этот ресурс https://www.howtoforge.com/ultimate-security-proxy-with-tor может быть полезен при настройке Squid. Если вы только занимаетесь сканированием и вам не важна анонимность, я также рекомендую запускать TOR в режиме tor2web (требуется перекомпиляция) для повышения скорости.