Scavenger - OSINT Bot - 3.0

はじめに

ペーストサイト上で機密データの漏洩を検索する私のOSINTボットのコードです。 email:password の組み合わせは常に収集されます。

searchterms.txt ファイルと classes/utility.py 内のいくつかの正規表現に基づいて機密情報を検出します。

検索語:

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

検索語はカスタマイズ可能です。詳細は設定セクションをご覧ください。

Scavenger に関する記事

https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
https://jakecreps.com/2019/01/08/scavenger/
https://youtu.be/VCwiZ2dh17Q?t=51 (ここでボットが言及されています)

主な機能

pastebin.com 向けに、ボットには2つのモードがあります:

スクレイピングによるアーカイブ内の機密データの検索
漏洩を公開するユーザーを追跡することによる機密データの検索

pastes.io 向け:

ペーストを推測し、機密情報を検索しようとします
configs/pastesio.json に API キーを追加し、free または pro ティアのどちらかを設定するのを忘れないでください

GitHub Gist 向け:

最新の gist をスクレイピングし、機密情報を検索します

dpaste.com 向け:

アーカイブを定期的にスクレイピングします

追加機能:

カスタマイズ可能な検索語

設定

setup.sh を実行して、必要な非標準の Python ライブラリをインストールします
各サブフォルダ内の README.md ファイルはプレースホルダーにすぎないため削除してください
ボットはデフォルトで email:password の組み合わせやその他の種類の機密データを検索します。検索語を追加したい場合は、configs/searchterms.txt ファイルを編集するか、制御スクリプトで -2 スイッチを使用してくださいデフォルトの configs/searchterms.txt 設定:

他の検索語を追加したい場合は、ファイルに1行ずつ追加するだけです。ここにない有用な検索語をご存知ですか? 教えてください! :-) 3. pastebin.com のユーザー追跡モジュールでは、対象ユーザーを configs/users.txt ファイルに1行ずつ追加する必要があります。

使用方法

プログラムのヘルプ:

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

クロールされたペーストは、そのステータスに応じて異なる場所に保存されます。

ペーストがクロールされたが何も検出されなかった -> data/raw_pastes
ペーストがクロールされ、email:password の組み合わせが検出された -> data/raw_pastes および data/files_with_passwords
ペーストがクロールされ、その他の機密データが検出された -> data/raw_pastes および data/otherSensitivePastes

ペーストは 48000 ファイルの上限に達するまで data/raw_pastes に保存されます。 48000 を超えるペーストが存在すると、それらは zip 圧縮され、アーカイブフォルダに移動されます。

pastebin.com アーカイブスクレイピングモジュールを開始する

$ python3 scavenger.py -0

pastebin.com ユーザー追跡モジュールを開始する

$ python3 scavenger.py -1

これらのモジュールのいずれかを開始すると、実行中のモジュールを含む tmux セッションがバックグラウンドで作成されます。

tmux セッションを一覧表示する

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

tmux セッションと対話する例

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

セッションからデタッチするには STRG+b d を押します。

制御ソフトウェアを使用せずにモジュールを開始したい場合は、それらを直接呼び出すことで可能です。

Pastebin.com アーカイブスクレイパー

$ python3 pbincomArchiveScrape.py

Pastebin.com ユーザートラッカー

$ python3 pbincomTrackUser.py

ボットの統計情報を表示する統合 (dashboard) を開始する (IP とポートをカスタマイズしたい場合があります)

$ python3 scavenger.py -6

To Do

何か不足しているものがあり、機能の追加や変更を希望される場合は、Twitter または GitHub issue でお知らせください :-)

Scavenger

人気