Scavenger - OSINT Bot - リワーク

ボットの動作

はじめに

ペーストサイトで機密データの漏洩を検索するOSINTボットのコードです。

検索用語：

• 認証情報
• 秘密RSA鍵
• WordPress設定ファイル
• MySQL接続文字列
• onionリンク
• SQLダンプ
• APIキー
• 完全なメールアドレス

検索用語はカスタマイズ可能です。詳細は設定セクションを参照してください。

Scavengerに関する記事

• https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
• https://jakecreps.com/2019/01/08/scavenger/
• https://youtu.be/VCwiZ2dh17Q?t=51 （このボットについて言及されています）

主な機能

pastebin.comに対して、ボットには2つのモードがあります：

• スクレイピングによるアーカイブ内の機密データの検索
• リークを公開するユーザーを追跡して機密データを検索

追加機能：

• カスタマイズ可能な検索用語
• テキストファイルを含むフォルダをスキャンして機密情報を検出

設定

1. 各サブフォルダ内のREADME.mdファイルを削除してください。これらは単なるプレースホルダです。
2. ボットはデフォルトでメールアドレス:パスワードの組み合わせおよびその他の種類の機密データを検索します。検索用語を追加したい場合は、__configs/searchterms.txt__ファイルを編集するか、コントロールスクリプトで-3スイッチを使用してください。 デフォルトの__configs/searchterms.txt__設定：
   root@kitploit:~

   mysqli_connect(
   BEGIN RSA PRIVATE KEY
   The name of the database for WordPress
   apiKey:
   Return-Path:
   insert into
   INSERT INTO
   .onion
   

   他の検索用語を追加したい場合は、ファイルに行ごとに追加してください。 ここにない便利な検索用語を知っていますか？教えてください！ :-)
3. pastebin.comのユーザートラッキングモジュールのために、__configs/users.txt__ファイルに対象ユーザーを行ごとに追加する必要があります。

使用法

プログラムヘルプ：

$ python3 scavenger.py -h

  _________
 /   _____/ ____ _____ ___  __ ____   ____    ____   ___________
 \_____  \_/ ___\\__  \\  \/ // __ \ /    \  / ___\_/ __ \_  __ \
 /        \  \___ / __ \\   /\  ___/|   |  \/ /_/  >  ___/|  | \/
/_______  /\___  >____  /\_/  \___  >___|  /\___  / \___  >__|
        \/     \/     \/          \/     \//_____/      \/       Reworked

usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4]

control script

optional arguments:
  -h, --help           show this help message and exit
  -0, --pbincom        Activate pastebin.com archive scraping module
  -1, --pbincomTrack   Activate pastebin.com user tracking module
  -2, --sensitivedata  Search a specific folder for sensitive data. This might
                       be useful if you want to analyze some pastes which
                       were not collected by the bot.
  -3, --editsearch     Edit search terms file for additional search terms
                       (email:password combinations will always be searched)
  -4, --editusers      Edit user file of the pastebin.com user track module

example usage: python3 scavenger.py -0 -1

クロールされたペーストは、そのステータスに応じて異なる場所に保存されます。

• クロールされたが何も検出されなかったペースト -> data/raw_pastes
• クロールされ、メールアドレス:パスワードの組み合わせが検出されたペースト -> data/raw_pastes および data/files_with_passwords
• クロールされ、その他の機密データが検出されたペースト -> data/raw_pastes および data/otherSensitivePastes

ペーストは、ファイル数が48000に達するまでdata/raw_pastesに保存されます。48000を超えると、zip圧縮されてアーカイブフォルダに移動されます。

pastebin.comアーカイブスクレイピングモジュールを起動

$ python3 scavenger.py -0

pastebin.comユーザートラッキングモジュールを起動

$ python3 scavenger.py -1

これらのモジュールのいずれかを起動すると、実行中のモジュールを持つtmuxセッションがバックグラウンドで作成されます。

tmuxセッション一覧

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

tmuxセッションとの対話例

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

セッションからデタッチするには、STRG+b d を押します。

コントロールソフトウェアを使用せずにモジュールを起動したい場合は、それらを直接呼び出すことで実行できます。

Pastebin.comアーカイブスクレイパー

$ python3 pbincomArchiveScrape.py

Pastebin.comユーザートラッカー

$ python3 pbincomTrackUser.py

特定のフォルダ内の機密データを検索：

$ python3 findSensitiveData.py TARGET_FOLDER

やること

何か足りないものや、機能追加や変更をご希望の場合は、TwitterまたはGitHubのIssueでお知らせください :-)