leakScraper

версия mongodb

LeakScraper — это эффективный набор инструментов для обработки и визуализации огромных текстовых файлов, содержащих учетные данные. Эти инструменты предназначены для помощи пентестерам/редтимерам в проведении OSINT, сборе учетных данных и атаках с использованием украденных учетных данных (credential stuffing).

Установка

• Прежде всего: работающий сервер MongoDB.
• Затем:
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  Он установит несколько пакетов pip и пакетов debian (python-magic, python3-pymongo и bottle).

Требования

Linux (Debian), Python 3.x и сервер MongoDB.

Использование

Смотрите вики для этого

Скриншот

Различные инструменты

LeakScraper разделен на три части:

• leakStandardizer: Инструмент для стандартизации утечек, которые вы получили из легитимных источников в интернете. Он принимает на вход файл с учетными данными в каком-то странном формате, содержащий не-ascii символы или пустые строки, строки с недействительными email или без пароля. С вашей помощью (с использованием регулярных выражений) он создаст удобный для grep файл в следующем формате: email:hash:plain («plain» означает «пароль в открытом виде»).
• leakImporter: Инструмент для импорта стандартизированного файла утечки в базу данных MongoDB. Он позаботится об извлечении данных из файла, помещении их в понятный формат MySQL, создании/управлении индексами...
• leakScraper: Инструмент и интерфейс для извлечения данных из базы данных и их красивого отображения.

Постулаты

• Рассматриваемый случай использования следующий: поиск учетных данных, принадлежащих конкретной организации/компании/структуре. Это делается путем поиска учетных данных, связанных с email, принадлежащим этой организации. Например: поиск учетных данных, принадлежащих Microsoft, осуществляется путем поиска учетных данных, связанных с аккаунтами, зарегистрированными с email, оканчивающимся на «@microsoft.com». Это единственный рассматриваемый случай использования, и он многое значит с точки зрения технических решений (индексы базы данных и представление данных в целом).

• Утечки могут весить несколько гигабайт. Это означает, что каждый процесс (стандартизация, импорт и исследования) использует алгоритмы, работающие на месте (in-place) с точки зрения памяти. Вы можете заранее знать, сколько памяти эти инструменты будут использовать для обработки конкретного файла, и они никогда не исчерпают ресурсы вашего компьютера (если только у вас не очень старый).

• Обработка огромных файлов и работа с большим объемом данных требует времени. По моему мнению (IMO), важно иметь визуальную/реальную обратную связь, чтобы знать, сколько времени займет обработка/импорт файла. Важно знать, только что вы начали 7-часовой процесс или 1200-летний.