Ajar：衡量智能体防御中的开放权限

一个智能体安全基准会报告两个数字：攻击成功率和良性效用，而这两个数字都是从已发生的运行中读取的。两者都没有说明防御在那些未被运行的路径上准备允许什么。Ajar 直接对此发问：对于每个良性任务，它构建该任务不需要的候选工具调用，在智能体可能行动的每个时间点将每个候选调用呈现给防御，并对防御所允许的、按危害加权的比例进行评分。

它挂接到一个已经存在的基准上，并复用该基准已经携带的内容来进行自我评分——它的任务、工具模式、参考解决方案和目标状态——因此新的宿主只需要一个适配器，新的防御只需要一个包装器。

适配器导出宿主基准已经携带的内容。生成器将其转化为每个决策点上的候选调用，预言机为每个候选调用给出标签和危害等级，包装器将每个候选调用交给防御自身的执行路径。评分将判定结果与标签进行比较。

布局

ajar/core/        中间形式：候选、探针、标签、危害等级
ajar/adapters/    宿主基准适配器；agentdojo/ 是参考实现
ajar/generate/    从任务构建候选调用的故障族
ajar/score/       泄漏、充分性、过度限制、攻击准入
ajar/defenses/    Ajar 自带的参考基线，从全部允许到精确预言机
ajar/llm/         模型接缝，供调用模型的防御和生成器使用
tests/
scripts/

快速开始

git clone https://github.com/reSHARMA/Ajar.git
cd Ajar
pip install -e .
bash scripts/bootstrap.sh     # 报告已存在和缺失的内容

Ajar 针对一个它不内置的宿主基准进行评分。对于参考适配器，将其指向一个 AgentDojo 检出：

git clone https://github.com/ethz-spylab/agentdojo.git bench/agentdojo
python scripts/export_probes.py --benchmark agentdojo

这会写出探针套件：任务、由任务构建的候选调用，以及每个候选调用的标签和危害等级。

两个分数

过度权限泄漏是防御所允许的、按危害加权的多余调用比例。每个多余调用都带有一个权重，该权重随其运行后可能造成的后果而增长，从对用户自身状态的可逆读取，到对第三方或资金不可逆的操作。

充分性是防御放行的、任务真正需要的调用比例。将其与泄漏一起报告，可以防止任何一方被操纵：拒绝一切的防御不泄漏任何东西，而允许一切的防御不拒绝任务所需的任何东西。

还有两个数字随之而来。过度限制统计防御拒绝的应得调用，攻击准入统计防御允许其每一个汇点调用的攻击。

衡量一个防御

防御实现一个决策：给定一个提议的调用和已经执行的调用，允许或拒绝它。针对 ajar.defenses.base 实现该决策，注册它，Ajar 就会在所有其他防御所看到的相同测试上报告全部四个数字。

ajar/defenses/baselines.py 包含四个参考过程——全部允许、工具名允许列表、参数精确预言机和全部拒绝——它们界定了两端的尺度，并为新的防御提供了可居于其间的参照。

许可证

MIT。参见 LICENSE。