目次

• 概要
• 実環境での検証
• 機能
  • 現在の機能境界
• アーキテクチャ
• クイックスタート
• 静的モデリング (ステージ1)
• 攻撃合成 (ステージ2)
• サンドボックス検証 (ステージ3)
• 判定エンジン (ステージ4)
• MCP監査モジュール
• セマンティックテイントエンジン
• 対応ランタイム
• テストと品質
• クレジット
• ライセンス

概要

AgentStalkerは、LLMエージェント向けのエンドツーエンドのセキュリティ監査フレームワークです。監査を4つのステージ — MODEL → ATTACK → VERIFY → REPORT — に分解し、型付きテイントグラフで接続するとともに、専用のMCP監査モジュールと確率的セマンティックテイントエンジンを追加します。検証は、計測可能なDockerサンドボックス内で実際のLLMバックエンドに対して実行され、確認されたすべての検出事項には再生可能なエビデンスが付随します。

本フレームワークはClaude Codeやその他のオーケストレーションLLMを置き換えるものではありません。決定論的なツール、YAMLファクト、Jinja2テンプレートを提供し、LLMオーケストレーターがそれらを組み合わせて監査を構成します。これにより、フレームワークの監査可能性とオーケストレーターの意思決定のレビュー可能性が保たれます。

実環境での検証

AgentStalkerは、実際のRustエージェントCLIであるCodeWhale v0.8.52(16クレート、332個の.rsファイル)に対して、実際のDeepSeek APIバックエンドとDockerサンドボックス分離を用いてエンドツーエンドで実行されました。以下のすべての検出事項は、再生可能なエビデンスファイルによって裏付けられています。

機能

型付きコントラクトによる4ステージパイプライン。 MODEL (AST + テイントグラフ) → ATTACK (文脈化されたペイロード) → VERIFY (サンドボックス再生) → REPORT (決定論的ルール + LLMジャッジ)。各ステージは次のステージが消費するJSONアーティファクトを出力し、ステージは独立して交換可能です。

専用MCP監査モジュール。 ツール名、説明、トランスポート (stdio/sse/http) の静的抽出、3つの検出器 (ツールスクワッティング、説明ポイズニング、トークンパススルー)、MCPMonitorによるランタイム検証、VerdictEngineルールR009–R011。ほとんどのエージェント監査ツールが未対応のままにしているOWASP ASI04のギャップを埋めます。

確率的セマンティックテイント。 LLMホップをブール型テイントではなく確率的伝播としてモデル化します。各フローは累積信頼度を持ち、「LLMを経由するものはすべてアラームになる」という誤検知パターンを減らしつつ、ブール型のis_exploitableコントラクトを維持します。

7層の攻撃サーフェスモデル + MCP。 ユーザー入力、コンテキスト/メモリ、ツール呼び出し、MCP/プラグイン、アイデンティティ/権限、マルチエージェント、可観測性 — それぞれに型付きのテイントソース、シンク、伝播ルールがあります。

計測可能な7コンテナサンドボックス。 監査対象エージェント、LLMプロキシ (LiteLLM)、mock-db、mock-mail、mock-api、eBPFモニター (Tracee)、nginx — ツール許可リスト、メタデータへのSSRFブロック、機密パスアクセス制御を強制するOPAポリシー層を備えています。

14のペイロードカテゴリ + 10のマルチターンチェーン。 ペイロードはfirst_pass/detection/sandbox_monitoringメタデータを持ち、同じSQLiペイロードがLangChainのquery_dbを対象とする場合でもAutoGenのdb_execを対象とする場合でも正しく文脈化されます。

LLMフォールバック付きの決定論的判定エンジン。 11のルール (R001–R011) が高信頼度ケースの約95%をカバーし、一致しないエビデンスはLLM-as-judgeにフォールバックします。

デュアルスタック言語サポート。 Python (LangChain、AutoGen、CrewAI、LlamaIndex、LangGraph、MCP) とRust (CodexスタイルCLI、rmcpサーバー)。言語はpyproject.toml / Cargo.tomlから自動検出されます。

現在の機能境界

これらは言い訳ではなくスコープの決定です — 本フレームワークが現在行わないことを事前に明示するために記載しています。

• Rustの静的モデリングはPythonより弱い。 Rust AST抽出器はツール定義をPythonのものより正確に解決できません (ツール名が断片になることがあります)。動的検証はこれに依存しませんが、完全自動のRust監査は精度が低くなります。
• 高速テイントモードはカバレッジと引き換えに速度を得ており、完全BFSモードは大規模コードベースでは遅い。 高速トラッカー (ソース本体 + 呼び出し元≤5) は直接の呼び出しチェーン外のシンクを見逃す可能性があり、完全BFSコールグラフは300以上のファイルでは妥当な時間内に完了しません。これが現在取り組んでいる精度/性能の核心的なトレードオフです。
• eBPFブレークポイント (セマンティックsyscall相関) と静的-動的ブリッジはロードマップ項目です。 セマンティックテイントエンジンはスケルトンとして出荷されています (v2ブレークポイント1)。ブレークポイント2と3はLinux + Tracee + 実際のエージェントランタイムでの検証が必要で、まだ実装されていません。
• MCPランタイム検証には登録されたMCPサーバーが必要です。 静的なMCP検出事項 (スクワッティング、説明ポイズニング、トークンパススルー) は任意のソースで機能しますが、ランタイム検証 (MCPMonitor) はエージェントが実際にMCPサーバーを登録した場合にのみ発火します。OAuthスコープ、セッションハイジャック、SBOM検出器は文書化されていますが実装されていません。
• サンドボックスコンテナのハードニングはスコープ外です。 コンテナエスケープ、イメージポイズニング、カーネルCVEは対象外です。
• 大規模ベンチマークはありません。 本フレームワークは1つの実エージェント (CodeWhale) で検証されています。標準化された100エージェントベンチマークはまだ存在せず、ロードマップに含まれています。

アーキテクチャ

flowchart LR
    subgraph S1[Stage 1 MODEL]
        A1[AST + Taint Graph] --> A2[agent_model.json]
    end
    subgraph S2[Stage 2 ATTACK]
        B1[Payload Contextualization] --> B2[attack_graph.json]
    end
    subgraph S3[Stage 3 VERIFY]
        C1[Sandbox Replay] --> C2[evidence/*.json]
    end
    subgraph S4[Stage 4 REPORT]
        D1[Verdict Rules R001-R011] --> D2[audit_report.md]
    end
    A2 --> B1
    B2 --> C1
    C2 --> D1

graph TB
    core[core/ — AST extractors, taint trackers, MCP auditor, semantic engine, pattern library]
    payloads[payloads/ — 14 payload categories]
    templates[templates/ — multi-turn attack chains, Jinja2 Dockerfile/compose]
    sandbox[sandbox/ — adapters, executors, 8-layer monitoring, correlation, configs]
    report[report/ — report templates, evidence schema]
    core --> sandbox
    payloads --> sandbox
    templates --> sandbox
    sandbox --> report

クイックスタート

前提条件

3つのモード

# Quick — static only, 5-10 min, CI gate
/AgentStalker --source ./my-agent --mode quick

# Standard — static + attack graph, 30-60 min, pre-release audit
/AgentStalker --source ./my-agent --mode standard

# Deep — full pipeline with sandbox replay, hours, red-team prep
/AgentStalker --source ./my-agent --mode deep \
  --agent-endpoint http://localhost:8000/chat \
  --llm-key sk-xxx

⚠️ 実行中にモードをダウングレードすることはできません。 ランタイム予算が不足している場合、オーケストレーターはカバレッジを減らすのではなく攻撃プランを延長します。

テストスイートの実行

pip install -e ".[test]"
pytest tests/ -q   # 76 tests, no Docker/eBPF/LLM key needed

静的モデリング (ステージ1)