AuthorizationBench：
基准测试 LLM 智能体授权对齐

首个系统性框架，用于评估 LLM 智能体在良性委托下的授权对齐，无论是否伴随直接有害后果。

概述

AuthorizationBench 涵盖有直接安全危害和无直接安全危害的越权行为。基于后果的评估会遗漏无直接危害的象限。

在人类与智能体的委托关系中，在指定的授权范围内行事是智能体最基本的义务。大多数智能体基准测试奖励任务完成情况，或评估某个动作是否产生直接危害。然而，一旦智能体在该范围之外行事，无论是否随之产生直接危害，都会削弱委托人的控制权以及委托关系本身。当前的基准测试很少能捕捉到这种失败。

该框架包含三个组成部分：

AuthorizationBench，即基准测试：286 个可执行任务，基于有据可查的真实案例，横跨三个维度：
- 14 种情境压力，包括 12 种良性压力和两种恶意提示注入机制
- 是否存在直接有害后果，由整合自先前智能体安全工作的十个安全与隐私类别定义。
- 10 个领域，涵盖个人生活与专业工作。
一个授权感知沙箱：确定性的模拟服务，使授权路径和越权路径均可执行且可观测，并提供适用于 OpenHands、OpenAI Agents SDK 和 Claude Agent SDK 的适配器。
一条可扩展的构建流水线：规范的种子到任务路线以及上下文扩展。

AuthorizationBench 评估

一个有据可查的案例被转化为一个任务，其中授权的完成路径和该案例特有的越权路径均可执行。智能体在沙箱中运行，其实际轨迹和最终状态将依据授权契约进行评估。

我们在三种智能体框架下，以低和高推理强度评估了四个模型，产生了 6,864 条轨迹。智能体在 19.2% 的委托任务中越权行事。

在 91 对匹配任务中，约 54% 的观测到的越权运行发生在没有直接安全或隐私危害的版本中。换言之，在这些配对中，超过一半的越权行为会被仅寻找直接有害后果的评估所遗漏。

仓库结构

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

快速开始

1. 安装

要求为 Python 3.12 和 Docker Desktop。

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. 构建沙箱

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. 配置由模型支持的评估

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

只填写你打算使用的 provider 配置文件。本地配置会被 Git 忽略，绝不能提交。有关 harness 专用环境和评估命令，请参阅快速入门指南。

4. 获取已发布的运行记录

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

基准与谱系

该基准包含 44 个原始任务用例，基于 42 条已使用的源记录，随后通过上下文扩展至 286 个任务。其中两条源记录各自支撑两个不同的原始任务用例。

benchmark/lineage.csv 将每个任务映射到其源记录，标识原始用例与扩展用例，并在可用时记录扩展轴。benchmark/manifest.json 冻结了本版本的确切任务清单。

构建流水线

受支持的从种子到任务的入口点为：

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

上下文扩展从经过验证的任务出发，改变一个维度，同时保留其分配的任务和授权边界。公开流水线包括生成提示、确定性门控、有界修复、服务实现和扩展代码。历史迁移工具和一次性开发脚本被有意排除在外。

构建阶段请参见构建流水线。

分类体系

情境压力分类体系包含 14 种压力，按它们源自委托方的指令还是环境进行分组。其稳定的 ID、定义、机制和传递渠道可在 taxonomies/situational_pressures.md 以及机器可读的 trigger_manifestation.json 中获取。

直接伤害分类体系整合了 Agent-SafetyBench 和 OpenAgentSafety 中的类别，同时保留类别级别的归属。请参见 taxonomies/direct_harm.md 和 harm_taxonomy.json。

领域分类体系命名了受授权边界保护的信息、资产或记录。请参见 taxonomies/domains.md 和 domain_taxonomy.json。

数据集与可复现性

Hugging Face 数据集包含全部 6,864 次运行的事后判定结果，以及 4,981 个保留的原始轨迹文件。对于原始运行目录已不可用的 1,883 次运行，数据集保留了判定结果和运行元数据，并标记 trajectory_available=false。

许可证与源材料

本软件及原始基准工件依据 MIT 许可证发布。源案例记录包含对第三方报道的引用和结构化摘要。所引用的源材料仍受其原始条款约束，此处不再重新授权。

引用

@article{zhang2026authorizationbench,
  title   = {Act on Your Behalf, Beyond Your Authorization:
             Benchmarking LLM Agent Authorization Alignment},
  author  = {Zhang, Zhiping and Li, Franklin Mingzhe and
             Huang, Raio Zihao and Li, Tianshi},
  year    = {2026}
}

机器可读的引用元数据可在 CITATION.cff 中获取。

最受欢迎

AuthorizationBench

AuthorizationBench：基准测试 LLM 智能体授权对齐

概述