Scavenger - OSINT 机器人 - 3.0

简介

这只是我的 OSINT 机器人在粘贴站点上搜索敏感数据泄露的代码。 email:password 组合始终会被收集。

它基于文件 searchterms.txt 和 classes/utility.py 中的一些正则表达式来检测敏感信息。

搜索词：

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

搜索词可以自定义。你可以在配置部分了解更多信息。

关于 Scavenger 的文章

https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
https://jakecreps.com/2019/01/08/scavenger/
https://youtu.be/VCwiZ2dh17Q?t=51 （这里提到了该机器人）

主要功能

对于 pastebin.com，该机器人有两种模式：

通过抓取在存档中查找敏感数据
通过跟踪发布泄露的用户来查找敏感数据

对于 pastes.io：

尝试猜测粘贴内容并查找敏感信息
不要忘记在 configs/pastesio.json 下添加你的 api key，并设置你是 free 还是 pro 层级

对于 GitHub Gist：

抓取最新的 gists 并查找敏感信息

对于 dpaste.com：

定期抓取存档

附加功能：

可自定义搜索词

配置

执行 setup.sh 来安装所需的非标准 python 库
删除每个子文件夹中的 README.md 文件，因为它们只是占位符
该机器人默认搜索 email:password 组合和其他类型的敏感数据。如果你想添加更多搜索词，请编辑 configs/searchterms.txt 文件，或在控制脚本中使用 -2 开关默认 configs/searchterms.txt 配置：

如果你想添加其他搜索词，只需将它们逐行添加到文件中。你知道这里缺少的有用搜索词吗？告诉我！:-) 3. 对于 pastebin.com 的用户跟踪模块，你需要将目标用户逐行添加到 configs/users.txt 文件中。

用法

程序帮助：

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

抓取到的粘贴内容会根据其状态存储在不同位置。

粘贴内容已抓取但未检测到任何内容 -> data/raw_pastes
粘贴内容已抓取且检测到 email:password 组合 -> data/raw_pastes 和 data/files_with_passwords
粘贴内容已抓取且检测到其他敏感数据 -> data/raw_pastes 和 data/otherSensitivePastes

粘贴内容会存储在 data/raw_pastes 中，直到达到 48000 个文件的限制。一旦粘贴内容超过 48000 个，它们会被压缩并移动到 archive 文件夹。

启动 pastebin.com 存档抓取模块

$ python3 scavenger.py -0

启动 pastebin.com 用户跟踪模块

$ python3 scavenger.py -1

启动其中一个模块时，会在后台创建一个运行该模块的 tmux 会话。

列出 tmux 会话

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

与 tmux 会话交互的示例

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

要从会话中分离，请按 STRG+b d。

如果你想在不使用控制软件的情况下启动模块，可以直接调用它们。

Pastebin.com 存档抓取器

$ python3 pbincomArchiveScrape.py

Pastebin.com 用户跟踪器

$ python3 pbincomTrackUser.py

启动集成的 (dashboard)，显示该机器人的统计数据（你可能需要自定义 IP 和端口）

$ python3 scavenger.py -6

待办事项

如果你发现缺少任何内容，并希望我添加功能或进行更改，请通过 Twitter 或 GitHub issue 告诉我 :-)

Scavenger

最受欢迎

Scavenger - OSINT 机器人 - 3.0

简介

关于 Scavenger 的文章

主要功能

配置

用法

待办事项