LLMエージェントが実際にプロンプトインジェクション検出器を使用する場面、すなわちエージェントが読み取るツール出力において、それらを再評価する。
チームはベンチマークスコアによってインジェクション検出器を選定している。我々は、それらのスコアがエージェント内部での挙動を予測するかどうかを検証し、スコアの大部分はベンチマークが検出器の訓練データにどれだけ近いかを測っているに過ぎないことを明らかにする。
15個の検出器(オープン9個、MetaのPrompt Guard 2を含むライセンス制限付き6個)と2つのタスク認識型LLMジャッジを、2つのエージェントベンチマーク(AgentDojo、tau-bench)およびBIPIA上で評価した。良性のツール出力は、各ベンチマークの正解ツール呼び出しをLLMなしで再生することで得ている。検出率は、同一ベンチマークの良性出力に対して1%のFPRを与える閾値におけるTPRである。
| 検出器 | リリース年 | 良性ツール出力でのFPR(AgentDojo / tau-bench) | 検出率 AgentDojo | 検出率 tau-bench | 検出率 BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(15個の検出器すべてと両方のジャッジについて、AUROCおよび95%タスククラスタ化ブートストラップ区間を含む完全な結果は、論文のTable 2を参照。)
すべての数値は、analysis/内のスクリプト(compute_all.py、compute_many.py、compute_robust.py、compute_v4.py)によってスコアファイルから再生成される;analysis/make_macros.pyはそれらを論文が読み込むLaTeXマクロに書き出す。
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
リリース済みのスコアから数値と図のみを再生成するには、results/*.json を作業ディレクトリにコピーし、.jsonl セットを再構築して(reproduce.sh の手順1〜3、CPUのみ、PYTHONHASHSEED=0 を使用)、手順8の分析スクリプトと python analysis/make_tables.py && python analysis/make_figures.py を実行します。
ロバスト性とコストの実験(ジャーナル版):
analysis/compute_robust.py:ランク転送のためのブートストラップ区間と順列検定。しきい値はホールドアウトされた AgentDojo スイートで較正。scripts/score_e6.py、analysis/compute_e6.py:コミュニティベンチマーク buried-injections の設定における Prompt Guard 2、および再構築されたセットが保存済みスコアを再現するかの確認。scripts/latency.py、analysis/compute_cost.py:GPU と CPU におけるツール出力あたりのレイテンシとメモリ。scripts/e5_run.py、scripts/e5_compare.py、scripts/e5_score.py:実際のエージェント(vLLM で提供される Qwen2.5-7B)が攻撃なしで AgentDojo を実行。そのツール呼び出しはモデルなしで再生され、出力ごとに比較される。scripts/check_revision.py:保存済みスコアを生成した Hugging Face リビジョン(Horizon-Labs は 2026-10-02 に重みを変更。保存済みスコアはリビジョン af3c52e6a9d8)。評価データは公開ソースから再構築され、再配布はされません:AgentDojo v1.2、tau-bench(MIT)、InjecAgent 攻撃(MIT)、BIPIA(MIT)、GitHub README(h1alexbel/github-readmes)、AESLC、FineWeb-Edu。一部のスクリプトは BIPIA と PIGuard が ~/agentsec/ 以下にクローンされていることを前提としています。
paper/usenix-2020-09-xetex.sty は tectonic/XeTeX でコンパイルできる USENIX スタイルのビルド用コピーです。投稿時には main.tex を公式の usenix-2020-09.sty に切り替え、pdflatex でコンパイルしてください。
arXiv にプレプリント公開済み、ジャーナル版は準備中。適応型攻撃に対する評価は未実施。両方のエージェントベンチマークはシミュレーションであり、tau-bench のインジェクションポイントは独自のもの。商用 API 検出器は含まれていません。論文の制限事項セクションを参照してください。
コード、分析スクリプト、スコアファイル:MIT(LICENSE を参照)。サードパーティのファイルはそれぞれ独自の条件を保持します:USENIX LaTeX スタイル(paper/usenix-2020-09*.sty)、およびスクリプトがダウンロードするベンチマークと検出器(AgentDojo、tau-bench、InjecAgent、BIPIA、および各検出器のモデルライセンス)。