Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
benign-instruction-bench — 重新评估 LLM 智能体工具输出上的提示注入检测器(论文草稿、脚本、评分) | Kitploit
工具/GitHubGitHub/lzwhehe/benign-instruction-bench
防御工具漏洞分析机器学习论文与研究学习与教育AI 安全
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

重新评估 LLM 智能体工具输出上的提示注入检测器(论文草稿、脚本、评分)

查看仓库
10524天前尚未审核
分享

在你训练过的测试上通过测试

重新评估 LLM 智能体实际使用场景中的提示注入检测器:即智能体所读取的工具输出。

团队根据基准分数来选择注入检测器。我们检验这些分数是否能预测智能体内部的行为,并发现它们大多衡量的是基准与检测器训练数据之间的接近程度。

发现

十五个检测器(九个开源,六个需许可证,包括 Meta 的 Prompt Guard 2)和两个任务感知 LLM 评判器,在两个智能体基准(AgentDojo、tau-bench)以及 BIPIA 上进行评估。良性工具输出来自在不使用 LLM 的情况下重放每个基准的真实工具调用。检测率为在同一基准良性输出上达到 1% FPR 的阈值下的 TPR。

检测器发布年份良性工具输出上的 FPR(AgentDojo / tau-bench)AgentDojo 检测率tau-bench 检测率BIPIA 检测率
Horizon-Labs guard-base20260.0% / 0.7%83.1%100.0%37.7%
Wolf Defender20260.9% / 0.0%70.1%90.8%3.5%
Prompt Guard 2 (22M)20250.0% / 0.0%60.9%60.8%31.7%
Prompt Guard 2 (86M)20250.6% / 0.0%57.4%57.9%10.4%
Judge (Llama-3.1-8B)––51.9%78.3%8.3%
Prismor-1.5B20266.5% / 46.2%29.2%15.2%4.0%
Sheltron-68M202610.6% / 4.4%20.1%95.2%57.2%
PIGuard202529.5% / 11.0%1.6%52.7%95.1%
ProtectAI v2202430.1% / 66.9%0.5%10.1%0.7%

(全部 15 个检测器和两个评判器,含 AUROC 和 95% 任务聚类 bootstrap 区间:论文表 2。)

  1. BIPIA 排名与 AgentDojo 排名至多只有弱相关(15 个检测器上的 Kendall τ:0.12,p = 0.559,不显著;bootstrap 区间 0.05 至 0.23;剔除单个检测器后为 0.01 至 0.25,剔除 PIGuard 后为 0.25)。最大的反转来自一个在 BIPIA 分布上训练的检测器:BIPIA 榜首(PIGuard)在 AgentDojo 上排名 15 个中的第 13。两个智能体基准的一致性更高(τ = 0.39,p = 0.046);BIPIA 与 tau-bench 的 τ = 0.31。
  2. 良性工具输出上的假阳性率范围为 0.0% 至 93.1%,且在两个智能体基准上保持一致(τ = 0.67,p = 0.0007)。
  3. PIGuard 的 BIPIA 分数不依赖于记忆的攻击字符串,且与在 BIPIA 分布上训练相符:其训练集包含 1,116 条完整 BIPIA 输入。它还见过 62 个 InjecAgent 攻击中的 53 个,但仅作为短提示;在 tau-bench 工具输出内部,它对见过的和未见的 InjecAgent 攻击检测效果相同(52.1% vs 55.8%)。Horizon-Labs 在智能体风格输入上训练,在两个智能体基准上均领先;它和第二好的检测器都无法被证明与 AgentDojo 无关。
  4. 任务感知的 7–8B 评判器在 1% FPR 下,在 AgentDojo 上达到 51.9%(Llama)和 59.0%(Qwen),在 tau-bench 上达到 78.3% 和 54.3%,低于最佳专用检测器。除 PIGuard 外,没有方法能捕获 BIPIA 任务无关注入的 39% 以上。
  5. 移除序列化标记或声明输入类型可将默认阈值假阳性降低最多约二十倍,但并不能使 PIGuard 或 ProtectAI v2 在 AgentDojo 上于 1% FPR 下变得有用。

所有数字均由 analysis/ 中的脚本(compute_all.py、compute_many.py、compute_robust.py、compute_v4.py)从分数文件重新生成;analysis/make_macros.py 将它们写入论文读取的 LaTeX 宏。

布局

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

复现

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

若只想根据已发布的分数重新生成数字和图表,请将 results/*.json 复制到工作目录,重建 .jsonl 数据集(reproduce.sh 的第 1–3 步,仅用 CPU,并设置 PYTHONHASHSEED=0),然后运行第 8 步的分析脚本以及 python analysis/make_tables.py && python analysis/make_figures.py。

鲁棒性与成本实验(期刊版本):

  • analysis/compute_robust.py:用于排名迁移的 bootstrap 区间和置换检验;阈值在留出的 AgentDojo 套件上校准。
  • scripts/score_e6.py、analysis/compute_e6.py:在社区基准 buried-injections 的设置下使用 Prompt Guard 2,并检查重建的数据集能否复现存档分数。
  • scripts/latency.py、analysis/compute_cost.py:在 GPU 和 CPU 上每个工具输出的延迟与内存占用。
  • scripts/e5_run.py、scripts/e5_compare.py、scripts/e5_score.py:一个真实智能体(由 vLLM 服务的 Qwen2.5-7B)在无攻击条件下运行 AgentDojo;其工具调用在没有模型的情况下被重放,并逐输出进行比较。
  • scripts/check_revision.py:存档分数由哪个 Hugging Face 修订版本产生(Horizon-Labs 于 2026-10-02 更改了其权重;存档分数对应修订版本 af3c52e6a9d8)。

评估数据从公开来源重建,而非重新分发:AgentDojo v1.2、tau-bench(MIT)、InjecAgent 攻击(MIT)、BIPIA(MIT)、GitHub README(h1alexbel/github-readmes)、AESLC、FineWeb-Edu。部分脚本假定 BIPIA 和 PIGuard 克隆在 ~/agentsec/ 下。

构建论文

paper/usenix-2020-09-xetex.sty 是 USENIX 样式的构建副本,可用 tectonic/XeTeX 编译。投稿时,请将 main.tex 切换到官方 usenix-2020-09.sty 并用 pdflatex 编译。

状态

预印本已发布于 arXiv;期刊版本正在准备中。未针对自适应攻击进行评估;两个智能体基准均为模拟,且 tau-bench 的注入点由我们设定;未包含商业 API 检测器。请参阅论文的局限性部分。

许可证

代码、分析脚本和分数文件:MIT(见 LICENSE)。第三方文件保留其自身条款:USENIX LaTeX 样式(paper/usenix-2020-09*.sty)以及脚本下载的基准和检测器(AgentDojo、tau-bench、InjecAgent、BIPIA,以及各检测器的模型许可证)。

下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    429
  • 4

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI原生网络安全的行动系统——在这里,意图转化为受治理的执行,证据沉淀为运营记忆,每一次操作都让下一次更出色。

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    CSIRT 平台,可将 Shadowserver 报告导入 MongoDB,并将其重放为交互式地图、分析、发现、公告和高管仪表板。

    256

探索所有工具

浏览我们的工具集合

查看所有工具 →