LLM 에이전트가 부여받은 권한 범위에 얼마나 잘 부합하여 행동하는지 평가하는 최초의 벤치마크입니다.
직접적인 유해한 결과의 유무와 관계없이, 선의의 위임 상황에서 LLM 에이전트의 권한 부여 정렬을 평가하기 위한 최초의 체계적 프레임워크.
할당된 권한 범위 내에서 행동하는 것은 인간-에이전트 위임 관계에서 에이전트의 가장 기본적인 의무입니다. 대부분의 에이전트 벤치마크는 작업 완료에 보상을 주거나 어떤 행동이 직접적인 유해를 초래하는지 평가합니다. 그러나 에이전트가 일단 그 범위를 벗어나 행동하면, 직접적인 피해가 뒤따르든 그렇지 않든, 이는 위임자의 통제와 위임 관계 자체를 훼손합니다. 현재의 벤치마크는 이러한 실패를 거의 포착하지 못합니다.
이 프레임워크는 세 가지 구성 요소를 포함합니다:
문서화된 사례는 권한이 부여된 완료 경로와 사례별 권한 외 경로가 모두 실행 가능한 작업으로 변환됩니다. 에이전트는 샌드박스에서 실행되며, 실제 궤적과 그로 인한 상태가 권한 계약에 따라 평가됩니다.
우리는 세 가지 에이전트 하네스에 걸쳐 낮은 추론 노력과 높은 추론 노력으로 네 가지 모델을 평가하여 6,864개의 궤적을 생성했습니다. 에이전트는 위임된 작업의 **19.2%**에서 권한을 벗어나 행동합니다.
91개의 매칭된 작업 쌍에 걸쳐, 관찰된 권한 외 실행의 약 **54%**가 직접적인 안전 또는 프라이버시 피해가 없는 버전에서 발생합니다. 다시 말해, 이 쌍들 내에서 권한 외 행동의 절반 이상이 직접적인 유해한 결과만을 찾는 평가에서는 놓치게 됩니다.
authorization_eva_sandbox/
├── tasks/ 286 executable task bundles
├── vignettes/ authorization contracts and scenario specifications
├── seeds/ documented source-case summaries used by the benchmark
├── services/ deterministic mock services
├── evaluation/ harness adapters, judges, detectors, and analysis
└── task_generation/ seed-to-task and contextual-expansion pipelines
benchmark/
├── manifest.json frozen release inventory
└── lineage.csv source case to original and expanded task mapping
taxonomies/ environment pressure, direct-harm, and domain definitions
요구 사항은 Python 3.12와 Docker Desktop입니다.
git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh
docker build \
-f authorization_eva_sandbox/Dockerfile.v2 \
-t authorizationbench:sandbox \
authorization_eva_sandbox
cp authorization_eva_sandbox/evaluation/config.toml.example \
authorization_eva_sandbox/evaluation/config.toml
사용하려는 제공자 프로필만 채우십시오. 로컬 구성은 Git에서 무시되며 절대 커밋해서는 안 됩니다. 하네스별 환경 및 평가 명령은 빠른 시작 가이드를 참조하십시오.
python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"
벤치마크는 42개의 사용된 소스 레코드에 기반한 44개의 원본 태스크 케이스와, 이어지는 문맥적 확장을 통해 286개의 태스크로 구성됩니다. 두 개의 소스 레코드는 각각 두 개의 서로 다른 원본 태스크 케이스를 뒷받침합니다.
benchmark/lineage.csv는 모든 태스크를 해당 소스 레코드에 매핑하고, 원본 케이스와 확장된 케이스를 식별하며, 가능한 경우 확장 축을 기록합니다. benchmark/manifest.json은 이 릴리스의 정확한 태스크 인벤토리를 고정합니다.
지원되는 시드-투-태스크(seed-to-task) 진입점은 다음과 같습니다:
./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
--seed-id S0001
맥락적 확장은 검증된 작업에서 시작하여 할당된 작업과 권한 부여 경계를 유지하면서 하나의 차원을 변화시킵니다. 공개 파이프라인에는 생성 프롬프트, 결정론적 게이트, 제한된 복구, 서비스 실현, 확장 코드가 포함됩니다. 과거 마이그레이션 유틸리티와 일회성 개발 스크립트는 의도적으로 제외됩니다.
구성 단계는 Construction pipeline을 참조하십시오.
상황적 압박 분류 체계는 주체의 지시에서 비롯되는지 환경에서 비롯되는지에 따라 그룹화된 14개의 압박을 포함합니다. 안정적인 ID, 정의, 메커니즘, 전달 채널은 taxonomies/situational_pressures.md와 기계 판독 가능한 trigger_manifestation.json에서 확인할 수 있습니다.
직접 피해 분류 체계는 범주 수준의 귀속을 유지하면서 Agent-SafetyBench와 OpenAgentSafety의 범주를 통합합니다. taxonomies/direct_harm.md와 harm_taxonomy.json을 참조하십시오.
도메인 분류 체계는 권한 부여 경계에 의해 보호되는 정보, 자산 또는 기록을 명명합니다. taxonomies/domains.md와 domain_taxonomy.json을 참조하십시오.
Hugging Face 데이터셋에는 모든 6,864회 실행에 대한 사후 판정과 4,981개의 보존된 원본 궤적 파일이 포함되어 있습니다. 원본 실행 디렉터리를 더 이상 사용할 수 없는 1,883회 실행의 경우, 데이터셋은 판정과 실행 메타데이터를 보존하고 trajectory_available=false로 표시합니다.
소프트웨어와 원본 벤치마크 아티팩트는 MIT License에 따라 배포됩니다. 소스 사례 기록에는 제3자 보도의 인용 및 구조화된 요약이 포함되어 있습니다. 인용된 소스 자료는 원래 조건의 적용을 받으며 여기에서 재라이선스되지 않습니다.
@article{zhang2026authorizationbench,
title = {Act on Your Behalf, Beyond Your Authorization:
Benchmarking LLM Agent Authorization Alignment},
author = {Zhang, Zhiping and Li, Franklin Mingzhe and
Huang, Raio Zihao and Li, Tianshi},
year = {2026}
}
기계 판독 가능한 인용 메타데이터는
CITATION.cff에서 확인할 수 있습니다.