Syd - オフラインペネトレーションテストアシスタント

Sydは、エアギャップ環境に対応したペネトレーションテストアシスタントで、ローカルLLMと検索拡張生成（RAG）を使用してスキャン出力を分析します。インターネット接続やAPIキーを必要とせず、ラップトップ上で完全に動作します。

概要

Sydは技術的なスキャン出力（Nmap、BloodHound、Volatility）を解析し、平易な英語で質問に回答します。数百ページに及ぶ結果を手動で確認する代わりに、具体的な質問を投げかけ、実際のスキャンデータに基づいたエビデンスベースの回答を得ることができます。

対応ツール:

• Nmap（XMLエクスポート）
• BloodHound（JSONエクスポート）
• Volatility 3（プラグイン出力）

主な機能:

• 完全オフライン動作
• クラウド依存やAPIキー不要
• ファクト抽出アーキテクチャによる幻覚防止
• 標準的なラップトップハードウェアで動作
• スキャンデータに基づくエビデンスベースの回答

アーキテクチャ

Sydは3段階のパイプラインを使用します：

1. ファクト抽出 - スキャンファイルを構造化データに決定論的に解析
2. 知識検索 - RAGベースで関連する技術文書を検索
3. 回答生成 - 抽出されたファクトと検索された知識に基づきLLMが回答を生成

ファクト抽出手順では正規表現と構造化パーシングを使用します（LLMは使いません）。これによりデータ抽出は100%正確です。LLMは検証済みのファクトに基づいて自然言語での説明を生成するだけです。

検証処理は、生成されたすべての回答を抽出されたファクトと突き合わせます。LLMがスキャンに存在しないデータ（PID、IPアドレス、ホスト名など）に言及した場合、その回答は却下されます。

必要条件

ハードウェア:

• 16GB RAM以上（推奨24GB）
• 10GBの空きディスク容量
• マルチコアCPU

ソフトウェア:

• Python 3.8以上
• pip

テスト済み構成:

• AMD Ryzen AI 9 365（10コア）
• 24GB RAM
• Windows 11
• クエリ応答時間：2～5秒

インストール

自動セットアップ（推奨）

1つのコマンドを実行するだけで、すべてが自動的に処理されます：

python setup.py

このスクリプトは以下を行います：

1. すべてのPython依存関係をインストール
2. Qwen 2.5 14Bモデルをダウンロード（9.7GB）
3. インストールを検証

所要時間： 15～30分（ほとんどはダウンロード）

HuggingFaceアカウントは不要です。 FAISSインデックスはリポジトリに含まれています。

手動インストール

setup.pyが失敗した場合は、手動でインストールします：

1. 依存関係のインストール：

pip install -r requirements.txt

2. HuggingFaceからモデルをダウンロード：

   • https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-GGUF にアクセス
   • 3つのパーツをすべてダウンロード：qwen2.5-14b-instruct-q5_k_m-00001/2/3-of-00003.gguf
   • マージして：rag_engine/models/qwen2.5-14b-instruct-q5_k_m.gguf とする

3. Sydを実行：

python syd.py

詳細なトラブルシューティングについてはINSTALL.mdを参照してください。

使い方

Nmap分析

1. Nmap XMLファイルを読み込むか、XML出力を貼り付け
2. ファクト抽出が完了するのを待つ（通常5～15秒）
3. 質問をする：
   • 「高ポートで稼働しているサービスは？」
   • 「SMB署名が無効になっているホストは？」
   • 「すべてのWebサーバーを表示して」
   • 「どのような脆弱性が見つかったか？」

BloodHound分析

1. BloodHound JSONエクスポート（SharpHoundから）を読み込む
2. 質問をする：
   • 「Domain Adminへの最短パスは？」
   • 「Kerberoastableなアカウントは？」
   • 「制約のない委任の問題を表示して」
   • 「どのようなACL悪用パスが存在するか？」

Volatility分析

1. Volatility 3プラグインの出力を貼り付け
2. 質問をする：
   • 「最も不審なプロセスは？」
   • 「すべてのネットワーク接続を一覧表示」
   • 「プロセスインジェクションの証拠はあるか？」
   • 「PAGE_EXECUTE_READWRITE領域を持つプロセスは？」

精度

実際のペンテストデータでテスト済み：

• Nmap：96.7%（30問中29問正解）
• Volatility：90%（10問中9問正解）
• BloodHound：85～90%（改善中）

検証レイヤーが幻覚を防止します。存在しないデータに言及する回答はブロックされます。

プロジェクト構造

Syd_V3/
├── syd.py                          # メインアプリケーション
├── nmap_fact_extractor.py          # Nmapパーサー
├── bloodhound_fact_extractor.py    # BloodHoundパーサー
├── volatility_fact_extractor.py    # Volatilityパーサー
├── bloodhound_analyzer.py          # BloodHound分析ロジック
├── volatility_analyzer.py          # Volatility分析ロジック
├── knowledge_bases/                # 技術文書
│   ├── bloodhound/
│   └── volatility/
├── rag_engine/
│   ├── models/                     # LLMモデル（GGUF形式）
│   └── embeddings/                 # FAISSインデックス
└── chunk_and_embed_*.py            # 知識ベース索引付けスクリプト

技術詳細

LLM: Qwen 2.5 14B（Q5_K_M量子化） 埋め込み: all-MiniLM-L6-v2（sentence-transformers） ベクトルDB: FAISS（CPU最適化） GUI: tkinter（クロスプラットフォーム）

温度：0.05～0.1（低く設定して幻覚を低減） 繰り返しペナルティ：2.8～3.2（ループ防止） コンテキストウィンドウ：4096～8192トークン

既知の制限事項

• BloodHound JSONは標準のSharpHound形式である必要があります
• Nmap XMLは完全である必要があります（切り詰め不可）
• 大規模スキャン（1000ホスト以上）の解析には30～60秒かかる場合があります
• Volatilityネットワーク方向分析の精度：85％（改善中）

一般的なペンテストシナリオ（10～500ホスト）向けに設計されています。エンタープライズ規模のスキャンではチャンク分割が必要になる場合があります。

トラブルシューティング

モデルが見つからない：

• モデルファイルが rag_engine/models/ に存在することを確認
• ファイル名が正確に一致するか確認：qwen2.5-14b-instruct-q5_k_m.gguf

FAISSインデックスが見つからない：

• python chunk_and_embed_*.py スクリプトを実行
• rag_engine/embeddings/customers/ に.faissおよび.pklファイルがあるか確認

メモリ不足：

• 他のアプリケーションを閉じる
• 最低16GB RAMが必要
• メモリが限られている場合はNmapモジュールのみを使用

パフォーマンスが遅い：

• 初回ロードに10～20秒かかります（モデル初期化）
• 後続のクエリ：2～5秒
• CPU使用率を確認 – モデルはCPUバウンドです
• ラップトップが電源に接続されていることを確認（電源管理がパフォーマンスに影響します）

サポート

コミュニティサポート：

• GitHub Issues：バグ報告と機能リクエスト
• GitHub Discussions：質問と経験の共有

プロフェッショナルサポート： エアギャップ環境にいて設定に苦労している場合、少額の料金で事前設定済みのUSBインストールを提供しています。すべて含まれてテスト済みです。

連絡先：[email protected]

リソース：

• YouTube：https://www.youtube.com/@paularmstrong8306（チュートリアルとデモ）
• ウェブサイト：https://sydsec.co.uk
• メール：[email protected]

貢献

特に以下の分野に関心があります：

• ファクト抽出が失敗するエッジケース
• 検証が厳しすぎる／緩すぎる質問
• 異なるハードウェア構成でのパフォーマンス問題

ガイドラインについてはCONTRIBUTING.mdを参照してください。

ライセンス

MITライセンス - LICENSEファイルを参照

謝辞

以下のツールを使用して構築：

• llama.cpp（効率的なCPU推論）
• FAISS（高速ベクトル検索）
• sentence-transformers（埋め込み）
• Qwen 2.5（指示追従LLM）

実際のペネトレーションテストデータで開発およびテスト済み。

作成者： Paul Armstrong（@Sydsec） ウェブサイト： https://sydsec.co.uk YouTube： https://www.youtube.com/@paularmstrong8306