AgentDojo v1.2.2,三个骨干模型 × 四个套件。这些结果中启用了评判器,而库中默认关闭。数值与条件。打开交互页面。
SPILLWAY,一种面向使用工具的智能体的提示注入防御:结构决定智能体在何处行动,模型审查拒绝。
电子邮件或网页中的文本可能引导智能体转向攻击者的地址。SPILLWAY 会根据用户任务和工具返回的类型化字段检查收件人。
Woosang Lim1,2,* · Yeseul Chang3 · Jaewoo Lee3
1SAINT Machines · 2KAIST · 3中央大学
* 通讯作者
演示 · 试用 · 结果 · 项目页面 · 应用集成 · 论文(PDF) · 复现 · 引用 · MUSTER
早期版本已被第三届野外智能体研讨会:安全、安保与超越(NeurIPS 2026)接收。
pip install git+https://github.com/saintmachines/[email protected]
来源:AgentDojo v1.2.2 Workspace,用户任务 19 配合注入任务 2,运行于 gpt-4o-mini。这七次运行是表 1 背后八次运行中的七次。选择此片段是因为所示的其他防御在此片段上以不同方式失败。ROPE 的运行(第八次)未展示。它也完成了全部三项:其邀请调用被拦截,两个待办事项均已执行。打开交互式演示以查看每次运行的调用。
以下每个数字均来自论文。SPILLWAY 的各行使用了裁判,而该库默认关闭裁判。
SPILLWAY 是唯一没有泄漏格的方法,也是在攻击下效用最高的方法。基于模型的防御在 12 个格中有 3 到 11 个发生泄漏。
AgentDojo v1.2.2,三个骨干模型按四个套件,每种方法使用相同的骨干模型和评分器。SPILLWAY 的柱状图使用 gemma4:31b 评判器,而已安装的包默认不启用该评判器。更少调用范围是每个基线相对 SPILLWAY 的每套件新增调用数,向下取整。交互版本见项目页面。