leakScraper

mongodb バージョン

LeakScraperは、クレデンシャルを含む巨大なテキストファイルを処理し、可視化するための効率的なツールセットです。これらのツールは、ペンテスターやレッドチームがOSINT、クレデンシャル収集、クレデンシャルスタッフィング攻撃を行う際に役立つように設計されています。

インストール

• まず最初に：動作するmongodbサーバーを用意してください。
• その後：
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  これにより、いくつかのpipパッケージとDebianパッケージ（python-magic、python3-pymongo、bottle）がインストールされます。

必要条件

Linux（Debian）、Python 3.x、およびmongodbサーバー。

使い方

詳細はWikiを参照してください

スクリーンショット

各ツールについて

LeakScraperは3つの部分に分かれています：

• leakStandardizer : インターネット上の正規の場所から入手したリークを標準化するツール。奇妙なフォーマット、非ASCII文字、空行、無効なメールアドレスやパスワードのない行を含むクレデンシャルファイルを入力として受け取ります。正規表現を使用してユーザーの助けを借りながら、email:hash:plain（"plain"は"平文パスワード"）という形式で簡単にgrep可能なファイルを生成します。
• leakImporter : 標準化されたリークファイルをmongodbデータベースにインポートするツール。ファイルからデータを抽出し、mysql互換形式に変換し、インデックスの作成・管理などを行います。
• leakScraper : データベースからデータを掘り起こし、見やすく表示するためのツール兼インターフェース。

前提条件

• カバーするユースケースは以下の通りです：特定の組織/企業/団体に属するクレデンシャルを検索すること。これは、該当組織に属するメールアドレスに関連付けられたクレデンシャルを検索することで行われます。例：Microsoftに属するクレデンシャルを検索するには、「@microsoft.com」で終わるメールアドレスで登録されたアカウントに関連するクレデンシャルを検索します。これが唯一のカバーされるユースケースであり、技術的な選択（データベースのインデックスやデータ表現全般）に大きな影響を与えています。

• リークは数ギガバイトになることがあります。つまり、各処理（標準化、インポート、検索）はメモリに関してインプレースアルゴリズムを使用しています。これらのツールが特定のファイルを処理する際にどれだけのメモリを使用するかを事前に把握でき、コンピュータのリソースを枯渇させることはありません（非常に古いマシンでない限り）。

• 巨大なファイルの処理と大量のデータの操作には時間がかかります。ファイルの処理/インポートにかかる時間を把握するために、視覚的/リアルタイムのフィードバックがあることは重要だと思います。これにより、7時間のプロセスを開始したのか、それとも1200年かかるプロセスを開始したのかを知ることができます。