重新评估 LLM 智能体实际使用场景中的提示注入检测器:即智能体所读取的工具输出。
团队根据基准分数来选择注入检测器。我们检验这些分数是否能预测智能体内部的行为,并发现它们大多衡量的是基准与检测器训练数据之间的接近程度。
十五个检测器(九个开源,六个需许可证,包括 Meta 的 Prompt Guard 2)和两个任务感知 LLM 评判器,在两个智能体基准(AgentDojo、tau-bench)以及 BIPIA 上进行评估。良性工具输出来自在不使用 LLM 的情况下重放每个基准的真实工具调用。检测率为在同一基准良性输出上达到 1% FPR 的阈值下的 TPR。
| 检测器 | 发布年份 | 良性工具输出上的 FPR(AgentDojo / tau-bench) | AgentDojo 检测率 | tau-bench 检测率 | BIPIA 检测率 |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(全部 15 个检测器和两个评判器,含 AUROC 和 95% 任务聚类 bootstrap 区间:论文表 2。)
所有数字均由 analysis/ 中的脚本(compute_all.py、compute_many.py、compute_robust.py、compute_v4.py)从分数文件重新生成;analysis/make_macros.py 将它们写入论文读取的 LaTeX 宏。
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
若只想根据已发布的分数重新生成数字和图表,请将 results/*.json 复制到工作目录,重建 .jsonl 数据集(reproduce.sh 的第 1–3 步,仅用 CPU,并设置 PYTHONHASHSEED=0),然后运行第 8 步的分析脚本以及 python analysis/make_tables.py && python analysis/make_figures.py。
鲁棒性与成本实验(期刊版本):
analysis/compute_robust.py:用于排名迁移的 bootstrap 区间和置换检验;阈值在留出的 AgentDojo 套件上校准。scripts/score_e6.py、analysis/compute_e6.py:在社区基准 buried-injections 的设置下使用 Prompt Guard 2,并检查重建的数据集能否复现存档分数。scripts/latency.py、analysis/compute_cost.py:在 GPU 和 CPU 上每个工具输出的延迟与内存占用。scripts/e5_run.py、scripts/e5_compare.py、scripts/e5_score.py:一个真实智能体(由 vLLM 服务的 Qwen2.5-7B)在无攻击条件下运行 AgentDojo;其工具调用在没有模型的情况下被重放,并逐输出进行比较。scripts/check_revision.py:存档分数由哪个 Hugging Face 修订版本产生(Horizon-Labs 于 2026-10-02 更改了其权重;存档分数对应修订版本 af3c52e6a9d8)。评估数据从公开来源重建,而非重新分发:AgentDojo v1.2、tau-bench(MIT)、InjecAgent 攻击(MIT)、BIPIA(MIT)、GitHub README(h1alexbel/github-readmes)、AESLC、FineWeb-Edu。部分脚本假定 BIPIA 和 PIGuard 克隆在 ~/agentsec/ 下。
paper/usenix-2020-09-xetex.sty 是 USENIX 样式的构建副本,可用 tectonic/XeTeX 编译。投稿时,请将 main.tex 切换到官方 usenix-2020-09.sty 并用 pdflatex 编译。
预印本已发布于 arXiv;期刊版本正在准备中。未针对自适应攻击进行评估;两个智能体基准均为模拟,且 tau-bench 的注入点由我们设定;未包含商业 API 检测器。请参阅论文的局限性部分。
代码、分析脚本和分数文件:MIT(见 LICENSE)。第三方文件保留其自身条款:USENIX LaTeX 样式(paper/usenix-2020-09*.sty)以及脚本下载的基准和检测器(AgentDojo、tau-bench、InjecAgent、BIPIA,以及各检测器的模型许可证)。