Scavenger - OSINT-бот - ПЕРЕРАБОТАННАЯ ВЕРСИЯ

бот в действии

Введение

Просто код моего OSINT-бота, который ищет утечки конфиденциальных данных на paste-сайтах.

Поисковые запросы:

• учетные данные
• закрытые ключи RSA
• файлы конфигурации WordPress
• строки подключения MySQL
• onion-ссылки
• SQL-дампы
• API-ключи
• полные адреса электронной почты

Поисковые запросы можно настраивать. Подробнее об этом в разделе настройки.

Статьи о Scavenger

• https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
• https://jakecreps.com/2019/01/08/scavenger/
• https://youtu.be/VCwiZ2dh17Q?t=51 (здесь упоминается бот)

Основные возможности

Для pastebin.com у бота есть два режима:

• поиск конфиденциальных данных в архиве через парсинг
• поиск конфиденциальных данных путем отслеживания пользователей, публикующих утечки

Дополнительные возможности:

• настраиваемые поисковые запросы
• сканирование папок с текстовыми файлами на наличие конфиденциальной информации

Настройка

1. Удалите файлы README.md в каждой подпапке — они нужны только как заполнители.
2. По умолчанию бот ищет комбинации email:password и другие виды конфиденциальных данных. Если вы хотите добавить больше поисковых запросов, отредактируйте файл configs/searchterms.txt или используйте переключатель -3 в управляющем скрипте. Конфигурация по умолчанию configs/searchterms.txt:

mysqli_connect(
BEGIN RSA PRIVATE KEY
The name of the database for WordPress
apiKey:
Return-Path:
insert into
INSERT INTO
.onion

Если вы хотите добавить другие поисковые запросы, просто добавляйте их в файл построчно. Знаете полезный поисковый запрос, которого здесь не хватает? Напишите мне! :-) 3. Для модуля отслеживания пользователей pastebin.com необходимо добавить целевых пользователей построчно в файл configs/users.txt.

Использование

Справка программы:

$ python3 scavenger.py -h

  _________
 /   _____/ ____ _____ ___  __ ____   ____    ____   ___________
 \_____  \_/ ___\\__  \\  \/ // __ \ /    \  / ___\_/ __ \_  __ \
 /        \  \___ / __ \\   /\  ___/|   |  \/ /_/  >  ___/|  | \/
/_______  /\___  >____  /\_/  \___  >___|  /\___  / \___  >__|
        \/     \/     \/          \/     \//_____/      \/       Reworked

usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4]

control script

optional arguments:
  -h, --help           show this help message and exit
  -0, --pbincom        Activate pastebin.com archive scraping module
  -1, --pbincomTrack   Activate pastebin.com user tracking module
  -2, --sensitivedata  Search a specific folder for sensitive data. This might
                       be useful if you want to analyze some pastes which
                       were not collected by the bot.
  -3, --editsearch     Edit search terms file for additional search terms
                       (email:password combinations will always be searched)
  -4, --editusers      Edit user file of the pastebin.com user track module

example usage: python3 scavenger.py -0 -1

Собранные пасты сохраняются в разных местах в зависимости от их статуса.

• Паста собрана, но ничего не обнаружено -> data/raw_pastes
• Паста собрана и обнаружена комбинация email:password -> data/raw_pastes и data/files_with_passwords
• Паста собрана и обнаружены другие конфиденциальные данные -> data/raw_pastes и data/otherSensitivePastes

Пасты хранятся в data/raw_pastes до тех пор, пока не будет достигнут лимит в 48000 файлов. Как только их становится больше 48000, они упаковываются в zip-архив и перемещаются в папку архива.

Запуск модуля парсинга архива pastebin.com

$ python3 scavenger.py -0

Запуск модуля отслеживания пользователей pastebin.com

$ python3 scavenger.py -1

При запуске одного из этих модулей в фоне создается tmux-сессия с запущенным модулем.

Список tmux-сессий

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Пример взаимодействия с tmux-сессией

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Чтобы отключиться от сессии, нажмите STRG+b d.

Если вы хотите запустить модуль без использования управляющего скрипта, вы можете сделать это, вызвав их напрямую.

Парсер архива pastebin.com

$ python3 pbincomArchiveScrape.py

Трекер пользователей pastebin.com

$ python3 pbincomTrackUser.py

Поиск конфиденциальных данных в определенной папке:

$ python3 findSensitiveData.py TARGET_FOLDER

Задачи

Если чего-то не хватает и вы хотите, чтобы я добавил функции или внес изменения, просто дайте мне знать через Twitter или GitHub issue :-)