Scavenger - OSINT Bot - 3.0

---

бот в действии

---

Введение

Просто код моего OSINT-бота, который ищет утечки конфиденциальных данных на сайтах для обмена текстом (paste-сайтах). Комбинации email:password собираются всегда.

Он обнаруживает конфиденциальную информацию на основе файла searchterms.txt и некоторых регулярных выражений в classes/utility.py.

Поисковые запросы:

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

Поисковые запросы можно настраивать. Подробнее об этом можно узнать в разделе конфигурации.

Статьи о Scavenger

• https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
• https://jakecreps.com/2019/01/08/scavenger/
• https://youtu.be/VCwiZ2dh17Q?t=51 (здесь упоминается бот)

Основные возможности

Для pastebin.com у бота есть два режима:

• поиск конфиденциальных данных в архиве с помощью скрейпинга
• поиск конфиденциальных данных путём отслеживания пользователей, публикующих утечки

Для pastes.io:

• пытается угадывать пасты и ищет конфиденциальную информацию
• не забудьте добавить свой API-ключ в configs/pastesio.json и указать, у вас тариф free или pro

Для GitHub Gist:

• скрейпит последние gists и ищет конфиденциальную информацию

Для dpaste.com:

• регулярно скрейпит архив

Дополнительные возможности:

• настраиваемые поисковые запросы

Конфигурация

0. Выполните setup.sh, чтобы установить необходимые нестандартные библиотеки Python
1. Удалите файлы README.md во всех подпапках, так как они являются лишь заглушками
2. По умолчанию бот ищет комбинации email:password и другие виды конфиденциальных данных. Если вы хотите добавить больше поисковых запросов, отредактируйте файл configs/searchterms.txt или используйте переключатель -2 в управляющем скрипте Конфигурация configs/searchterms.txt по умолчанию:

Если вы хотите добавить другие поисковые запросы, просто добавьте их в файл построчно. Знаете полезный поисковый запрос, которого здесь не хватает? Сообщите мне! :-) 3. Для модуля отслеживания пользователей pastebin.com нужно добавить целевых пользователей построчно в файл configs/users.txt.

Использование

Справка программы:

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

Скрейпленные пасты сохраняются в разных местах в зависимости от их статуса.

• Паста скрейплена, но ничего не обнаружено -> data/raw_pastes
• Паста скрейплена и обнаружена комбинация email:password -> data/raw_pastes и data/files_with_passwords
• Паста скрейплена и обнаружены другие конфиденциальные данные -> data/raw_pastes и data/otherSensitivePastes

Пасты сохраняются в data/raw_pastes, пока не достигнут лимита в 48000 файлов. Как только паст становится больше 48000, они архивируются и перемещаются в папку архива.

---

Запустить модуль скрейпинга архива pastebin.com

$ python3 scavenger.py -0

Запустить модуль отслеживания пользователей pastebin.com

$ python3 scavenger.py -1

При запуске одного из этих модулей в фоновом режиме создаётся tmux-сессия с работающим модулем.

Список tmux-сессий

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Пример взаимодействия с tmux-сессией

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Чтобы отключиться от сессии, нажмите STRG+b d.

---

Если вы хотите запустить модуль без использования управляющей программы, вы можете сделать это, вызвав их напрямую.

Скрейпер архива Pastebin.com

$ python3 pbincomArchiveScrape.py

Трекер пользователей Pastebin.com

$ python3 pbincomTrackUser.py

Запустить встроенную (dashboard), показывающую статистику бота (возможно, вы захотите настроить IP и порт)

$ python3 scavenger.py -6

---

To Do

Если вам чего-то не хватает и вы хотите, чтобы я добавил функции или внёс изменения, просто сообщите мне через Twitter или issue на GitHub :-)