
Интерфейс OSINT для сбора данных из даркнета
Darkdump — это OSINT-инструмент с открытым исходным кодом для исследования даркнета. По поисковому запросу он получает результаты из нескольких поисковых систем даркнета, опционально глубоко парсит каждый сайт из результатов на наличие email-адресов, метаданных, ключевых слов, документов и изображений, и транслирует всё в реальном времени либо в терминал, либо в локальный веб-интерфейс. Все результаты автоматически фильтруются с использованием публичного чёрного списка злоупотреблений Ahmia, независимо от используемого движка.
git clone https://github.com/josh0xA/darkdump
cd darkdump
chmod +x install.sh
./install.sh
darkdump
Примечание: для macOS может потребоваться sudo при выполнении ./install.sh.
Эта команда устанавливает все зависимости и создаёт две команды:
| Команда | Описание |
|---|---|
darkdump | Запуск основного веб-интерфейса |
darkdump-cli | Запуск CLI-инструмента |
git clone https://github.com/josh0xA/darkdump
cd darkdump
pip3 install -r requirements.txt
pip3 install -r darkdump-web/requirements.txt
Для удаления лаунчеров: ./uninstall.sh
Для эффективного использования Darkdump необходимо настроить Tor так, чтобы ваш скрипт мог управлять им через управляющий порт Tor. Вот как настроить файл torrc и проверить, что Tor запущен:
Если Tor ещё не установлен в вашей системе, его нужно установить. Вот как установить Tor в различных операционных системах:
Debian/Kali/Ubuntu: sudo apt install tor
MacOS: brew install tor
Найдите ваш файл torrc. Обычно он находится по пути /etc/tor/torrc в Linux и иногда в macOS.
Добавьте следующие строки в ваш torrc для включения управляющего порта и установки пароля на управляющий порт:
ControlPort 9051
HashedControlPassword [YourHashedPasswordHere]
Замените [YourHashedPasswordHere] на хешированный пароль, который можно сгенерировать с помощью команды tor --hash-password: tor --hash-password "my_password"
Linux: sudo systemctl start tor.service
MacOS: brew services start tor
Доступно шесть движков через параметры -e / --engine:
Все движки проверяют результаты по чёрному списку Ahmia. Нефильтрованные движки перед выполнением запрашивают подтверждение. Эта стратегия всё ещё не идеальна, всегда соблюдайте крайнюю осторожность и здравый смысл при поиске и парсинге нефильтрованных движков.
darkdump-cli [-h] [-v] [-q QUERY] [-a AMOUNT] [-e ENGINE]
[-p] [-s] [-i] [-d] [-u] [-o FILE]
[--breach] [--breach-deep] [--breach-delay SECONDS]
# Базовый поиск через Ahmia (Tor не требуется)
darkdump-cli -q "privacy tools" -a 10
# Поиск и глубокий парсинг каждого результата через Tor
darkdump-cli -q "hacking" -a 10 -s -p
# Поиск, парсинг и сбор изображений
darkdump-cli -q "marketplaces" -a 15 -s -p -i
# Использование движка Not Evil, дедупликация, сохранение в JSON
darkdump-cli -q "security research" -a 20 -e notevil -p -u -o results.json
# Использование движка OnionLand, сохранение в CSV
darkdump-cli -q "crypto" -a 10 -e onionland -p -o results.csv
# Интеллектуальное сканирование утечек для email-адреса
darkdump-cli --breach -q [email protected] -e ahmia -p
# Сканирование утечек с глубоким парсингом
darkdump-cli --breach --breach-deep -q example.com -e ahmia
Darkdump включает локальный браузерный интерфейс.
# Если установлено через install.sh
darkdump
# Или запустить напрямую
python3 darkdump-web/app.py
Затем откройте http://127.0.0.1:50001 в вашем браузере.
Этот инструмент предназначен исключительно для легитимных исследований в области безопасности и OSINT-расследований. Разработчик, Josh Schiavone, не несёт ответственности за любое неправомерное использование. Не используйте Darkdump для доступа или исследования сайтов, занимающихся незаконной деятельностью в соответствии с законами и нормативными актами вашей юрисдикции. Да благословит вас всех Бог.
Лицензия MIT — Copyright (c) Josh Schiavone
| Engine | Фильтрация | Требуется Tor | Примечания |
|---|
ahmia | Да | Нет | По умолчанию. Одобрен проектом Tor, строгая фильтрация |
notevil | Частичная | Да | Форк Ahmia с более широким индексом |
tordex | Нет | Да | Полностью без цензуры — требуется подтверждение |
tor66 | Нет | Да | Проиндексированный каталог — требуется подтверждение |
onionland | Нет | Да | Индексирует Tor, I2P и клирнет — требуется подтверждение |
excavator | Нет | Да | Общий индекс даркнета — требуется подтверждение |
| Флаг | Описание |
|---|
-q, --query | Поисковый запрос |
-a, --amount | Количество получаемых результатов (по умолчанию: 10) |
-e, --engine | Используемый движок (по умолчанию: ahmia) |
-p, --proxy | Маршрутизировать запросы через Tor |
-s, --scrape | Глубокий парсинг каждого результата для извлечения метаданных, ссылок, email-адресов, документов |
-i, --images | Также собирать изображения при парсинге (требует -s) |
-u, --unique | Скрывать результаты с дублирующимися заголовком и описанием |
-d, --debug | Включить отладочный вывод |
-o FILE, --output FILE | Сохранить результаты в файл — формат определяется по расширению (.json, .csv, .txt) |
--breach | Запустить интеллектуальное сканирование на утечки/компрометацию учётных данных для указанной цели |
--breach-deep | Объединить сканирование утечек с глубоким парсингом каждого результата |
--breach-delay | Задержка в секундах между запросами утечек для избежания ограничений скорости (по умолчанию: 1.5) |
-v, --version | Показать версию |