OmniScan 総合脆弱性スキャナー

OmniScan は、Python ベースの軽量でマルチエンジンの脆弱性スキャナーです。レッドチームの運用とセキュリティ研究のために設計されています。軽量 Nuclei エンジン (Lite) と Afrog エンジンを統合するだけでなく、強力な資産収集と結果管理機能を提供します。

コア機能

1. マルチエンジンサポート

• Nuclei Lite エンジン (内蔵):
  • Python ネイティブで実装された Nuclei コアロジックにより、Go 環境を必要としません。
  • セキュリティ強化: eval の代わりに simpleeval を使用し、サンドボックス環境で DSL 式を実行することで、悪意のあるテンプレートによるコード実行を防止します。
  • スマート変数生成: 未定義のテンプレート変数（例: {{lang-file}} -> etc/passwd）を自動認識して入力し、スマートファジングをサポートします。
  • 深い互換性:
    • ほとんどの Nuclei Helper 関数（hmac, gzip, reverse, rand_base など）をサポート。
    • flow および req-condition ロジック制御をサポート。
    • cookie-reuse セッション維持と redirects リダイレクト制御をサポート。
  • スマート誤検出フィルタリング:
    • Smart FP Reduction: 200 OK ページに対して、ステータスコードのみ一致しキーワードが一致しない誤検出をスマートに識別してフィルタリングします（厳格モードヒューリスティック）。
    • WAF 認識: 403/429 などの WAF ブロックページを自動認識し、誤検出を回避します。
  • OOB インタラクション検出 (強化):
    • 内蔵 Interactsh クライアントにより、Blind RCE、SSRF などの無応答脆弱性を自動処理します。
    • Correlation ID: 各リクエストに一意の関連 ID を生成し、OOB インタラクションを正確に照合して誤検出を完全に排除します。
    • 適応的待機: OOB 検出の待機時間をスマートに調整し、速度と正確性のバランスを取ります。
• Afrog エンジン: Afrog スキャナーを統合し、追加の脆弱性検出機能を提供します。
• Nuclei 公式エンジン: システムにインストールされた Nuclei バイナリを呼び出してスキャンを実行できます。
• XRay エンジン: XRay を呼び出して Web スキャンを実行できます。

2. プラグインシステム (新機能)

• Python プラグイン拡張: ユーザーが Python スクリプトを作成し、スキャンプラグインとして複雑なロジックを処理できます。
• 可視化進捗: 内蔵 tqdm プログレスバーにより、各プラグインの各ターゲットに対するスキャン進捗をリアルタイム表示します。
• シンプルで使いやすい: BasePlugin クラスを継承し、check(url) メソッドを実装するだけです。
• シームレス統合: プラグインのスキャン結果は自動的にレポートに統合され、Nuclei の結果と一元管理されます。
• ターゲット指定スキャン: 個別または複数のプラグインファイルを指定して特定のチェックを実行できます。
• サンプルプラグイン:
  • git_config.py: .git/config の漏洩を検出
  • spring_boot.py: Spring Boot Actuator を検出
  • ds_store.py: .DS_Store の漏洩を検出
  • phpinfo.py: phpinfo() ページを検出
  • backup_files.py: 一般的なバックアップファイル (.bak, .zip など) を検出
  • swagger_ui.py: Swagger UI ドキュメントを検出

3. 資産収集

• FOFA 検索: FOFA API を統合し、構文によるバッチ資産検索をサポート（例: country="CN"）。
• Shodan 検索: Shodan API を統合し、キーワードによる資産検索をサポート。
• 単一ターゲット: 単一 URL を直接指定して高速スキャンが可能。
• ローカルターゲットの読み込み: テキストファイルから URL リストをバッチ読み込み可能。
• スマート生存確認: スキャン前に HTTP 生存確認を自動実行し、無効なターゲットをフィルタリング。
• URL 正規化: URL プロトコル (http/https) を自動補完し、重複を除去。

4. 高性能非同期アーキテクチャと大規模テンプレートサポート

• Python asyncio および aiohttp フレームワークを採用。
• メモリ最適化 (新機能):
  • Lazy Loading: テンプレートファイルは必要に応じて読み込まれ、すべてのファイルを一度に読み込む必要はありません。
  • バッチ処理: 数千万件の POC テンプレートのバッチスキャンをサポート（デフォルトはバッチあたり 5000 件）。大規模スキャン時のメモリ不足 (OOM) 問題を根本的に解決します。
  • 自動メモリ解放: 各バッチのスキャン完了後にメモリを自動解放します。
• リアルタイム進捗監視: 詳細なバッチ進捗とパーセンテージを表示。
• LogFilter システム: "Illegal cookie name" などの重要でないエラーを自動的に抑制し、出力をクリーンに保ちます。

5. 結果管理

• リアルタイム結果保存:
  • 脆弱性が発見されるたびに即座に SQLite データベースと CSV ファイルに書き込み、プログラムの中断によるデータ損失を防止。
  • 各ターゲットのスキャン完了後、サマリー統計を自動更新。
• マルチフォーマットレポート: JSON、CSV、HTML 形式のスキャンレポートをリアルタイム生成。
• SQLite データベース: 内蔵 SQLite データベースにより、スキャン結果の自動重複排除を実行（テンプレート ID + ターゲット + URL に基づく）。
• 詳細サマリー:
  • スキャン中、各ターゲットの脆弱性サマリーをリアルタイム出力（現在のバッチで発見された数と累計発見数の合計を含む）。
  • プログレスバーにグローバルな累計脆弱性発見数をリアルタイム表示。
  • スキャン終了後、全局的な脆弱性統計を提供。

6. OOB (帯域外) インタラクション検出

• 完全自動クローズドループ検出: Blind RCE、SSRF、Blind SQLi などの無応答脆弱性を自動処理。
• 内蔵 Interactsh Client:
  • 自動で interactsh-client バイナリをダウンロードし管理します。（interactsh-client.zip をアップロード済みです。このディレクトリに直接解凍してください。）
  • OOB ペイロード URL（例: xxx.oast.pro）を自動取得。
  • DNS/HTTP/SMTP インタラクションログをリアルタイム監視。
  • ゼロ設定: スキャナーが自動的にテンプレート内の {{interactsh-url}} をリアルタイムで取得したペイロードに置き換えます。

クイックスタート

環境要件

• Python 3.8+
• Linux / macOS / Windows

インストール

1. リポジトリのクローン:

   root@kitploit:~

   git clone https://github.com/d3ckx1/OmniScan.git
   cd omniscan
   

2. 依存関係のインストール:

   root@kitploit:~

   pip3 install -r requirements.txt
   

3. ツールの設定 (オプション):

   • Afrog または XRay を使用する場合、対応する実行可能ファイルがプロジェクトルートまたはシステムパスにあることを確認してください。
   • config.yml を設定して API キーとスキャンパラメータを指定します（オプション）。

使用例

1. 単一ターゲットスキャン

単一 URL をスキャン:

python3 omniscan.py -u http://example.com --tool lite -T ./templates/cve/

2. 資産収集とスキャン (FOFA)

FOFA から資産を検索し、Nuclei Lite エンジンでスキャン:

python3 omniscan.py -f 'app="SpringBoot"' --tool lite -T ./templates/spring-boot/

3. ローカルバッチスキャン

urls.txt からターゲットを読み込みスキャン:

python3 omniscan.py -l urls.txt --tool lite -T ./templates/cve/

4. スキャンツールの指定

• Nuclei Lite: python3 omniscan.py -l urls.txt --tool lite -T ./templates/
• Afrog: python3 omniscan.py -l urls.txt --tool afrog
• XRay: python3 omniscan.py -l urls.txt --tool xray

5. インタラクティブモード

--tool パラメータなしで実行すると、対話メニューでツールを選択:

python3 omniscan.py -l urls.txt

6. OOB 脆弱性検出

Blind RCE 脆弱性をスキャン（Interactsh を自動有効化）:

python3 omniscan.py -l urls.txt --tool lite -T ./templates/blind-rce.yaml

OOB インタラクションが検出された場合、コンソールに [OOB DETECTED] が出力され、脆弱性が記録されます。

8. Python プラグインスキャンの有効化

Nuclei Lite エンジンを使用し、すべてのプラグインを有効化:

python3 omniscan.py -l urls.txt --tool lite -T ./templates/ --plugins

9. 特定プラグインの実行 (特定チェック)

Git Config プラグインと PHPInfo プラグインのみ実行:

python3 omniscan.py -l urls.txt --tool lite -T ./templates/ --plugin-file plugins/git_config.py,plugins/phpinfo.py

10. テンプレートの分類/検証のみ

実際のスキャンを行わず、テンプレートの互換性のみをチェック:

python3 omniscan.py --classify-only --tool lite -T ./templates/

パラメータ説明

設定ファイル (config.yml)

app:
  lite_timeout: 10        # リクエストタイムアウト (秒)
  lite_threads: 10        # 同時スレッド数
  use_async: true         # 非同期モードを有効化
  user_agents:            # カスタム User-Agent プール
    - "Mozilla/5.0..."

fofa:
  email: "your_email"
  key: "your_key"

shodan:
  api_key: "your_key"

output:
  formats: ["json", "csv", "html"] # レポート形式

ディレクトリ構造

• omniscan.py: メインプログラムエントリ。パラメータ解析とタスクスケジューリングを担当。
• nuclei_lite.py: Nuclei Lite コアエンジン。YAML テンプレートの解析とスキャンを実装。
• result_manager.py: 結果管理モジュール。重複排除とレポート生成を処理。
• database.py: SQLite データベース管理。
• config.py: 設定読み込みモジュール。

よくある質問

Q: [OOB DETECTED] とはどういう意味ですか？ A: スキャナーが帯域外インタラクション (Out-of-Band Interaction) を正常に検出したことを示します。これは通常、ターゲットが DNS または HTTP リクエストのコールバックをトリガーしたことを意味し、Blind RCE、SSRF、または Blind SQLi などの脆弱性の存在を証明します。

Q: FOFA/Shodan API を設定するにはどうすればよいですか？ A: config.yml ファイルに API キーを記入するか、環境変数 FOFA_EMAIL、FOFA_KEY、SHODAN_API_KEY を設定してください。

Q: サポートされるオペレーティングシステムは？ A: OmniScan はクロスプラットフォームで、Linux、macOS、Windows をサポートします。外部ツール（afrog、interactsh-client など）は、現在のシステムで実行可能であることを確認する必要があります。

ライセンス

MIT License