leakScraper

mongodb 版本

LeakScraper 是一套高效的工具集，用于处理和可视化包含凭证的巨型文本文件。这些工具旨在帮助渗透测试人员/红队成员进行 OSINT、凭证收集和凭证填充攻击。

安装

• 首要条件：有一个可用的 mongodb 服务器。
• 然后：

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  它会安装一些 pip 包和 debian 包（python-magic、python3-pymongo 和 bottle）。

要求

Linux（基于 Debian）、python 3.x 以及一个 mongodb 服务器。

用法

详见维基

截图

各个工具

LeakScraper 分为三个部分：

• leakStandardizer：一个工具，用于标准化你从互联网上某些合法渠道获取的泄漏数据。它接收一个包含凭证的文件，这些凭证可能遵循某种奇怪的格式，包含非 ASCII 字符或空行，包含无效的电子邮件或无密码的行。它会借助你的帮助（使用正则表达式）生成一个易于 grep 的文件，格式如下：email:hash:plain（“plain”指明文密码）。
• leakImporter：一个工具，用于将标准化后的泄漏文件导入 mongodb 数据库。它会负责从文件中提取数据，将其放入 mysql 兼容的格式，创建/管理索引等。
• leakScraper：一个工具和界面，用于从数据库中挖掘数据并友好地展示。

前提假设

• 覆盖的用例是：搜索属于特定组织/公司/机构的凭证。这是通过搜索与目标组织相关联的电子邮件对应的凭证来实现的。例如：搜索属于微软的凭证，就是搜索与注册邮箱以“@microsoft.com”结尾的账户相关联的凭证。这是唯一覆盖的用例，这也在技术选择（数据库索引和一般数据表示）上具有重要意义。

• 泄漏文件可能重达数 GB。这意味着每个过程（标准化、导入和搜索）在内存使用上都是原地算法。你可以预先知道处理特定文件时这些工具将使用多少内存，并且它们永远不会耗尽计算机的资源（除非你的电脑非常陈旧）。

• 处理大型文件和大量数据需要时间。在我看来，拥有可视化的实时反馈来了解处理/导入一个文件需要多长时间是很重要的。要知道你刚刚开始的是一个 7 小时的过程，还是一个 1200 年的过程。