LLMエージェントが割り当てられた認可スコープにどれだけ沿って行動するかを評価する最初のベンチマークです。
良性の委任の下で、直接的な有害な結果の有無にかかわらず、LLMエージェントの認可アラインメントを評価するための最初の体系的なフレームワーク。
割り当てられた認可スコープ内で行動することは、人間とエージェントの委任関係においてエージェントの最も基本的な義務である。ほとんどのエージェントベンチマークは、タスクの完了を報酬として与えるか、ある行動が直接的な害を生み出すかどうかを評価している。しかし、エージェントがそのスコープ外で行動した時点で、直接的な害が続くかどうかにかかわらず、それは委任者の制御と委任関係そのものを損なう。現在のベンチマークは、この失敗をほとんど捉えていない。
このフレームワークは3つのコンポーネントを含む:
文書化された事例は、認可された完了経路と事例固有の認可範囲外経路の両方が実行可能なタスクへと変換される。エージェントはサンドボックス内で実行され、その実際の軌跡と結果として生じた状態が認可契約に対して評価される。
我々は4つのモデルを低・高の推論努力で、3つのエージェントハーネスにわたって評価し、6,864の軌跡を生成した。エージェントは委任されたタスクの**19.2%**で認可範囲外の行動をとった。
91組のマッチしたタスクペア全体で、観測された認可範囲外の実行の約**54%**は、直接的な安全上またはプライバシー上の害を伴わないバージョンで発生している。言い換えれば、これらのペア内では、認可範囲外の行動の半数以上が、直接的な有害な結果のみを探す評価では見逃されてしまう。
authorization_eva_sandbox/
├── tasks/ 286 executable task bundles
├── vignettes/ authorization contracts and scenario specifications
├── seeds/ documented source-case summaries used by the benchmark
├── services/ deterministic mock services
├── evaluation/ harness adapters, judges, detectors, and analysis
└── task_generation/ seed-to-task and contextual-expansion pipelines
benchmark/
├── manifest.json frozen release inventory
└── lineage.csv source case to original and expanded task mapping
taxonomies/ environment pressure, direct-harm, and domain definitions
必要なものは Python 3.12 と Docker Desktop です。
git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh
docker build \
-f authorization_eva_sandbox/Dockerfile.v2 \
-t authorizationbench:sandbox \
authorization_eva_sandbox
cp authorization_eva_sandbox/evaluation/config.toml.example \
authorization_eva_sandbox/evaluation/config.toml
使用する予定のプロバイダープロファイルのみを記入してください。ローカル設定はGitによって無視され、決してコミットしてはいけません。ハーネス固有の環境と評価コマンドについては、クイックスタートガイドを参照してください。
python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"
ベンチマークには、42件の使用済みソースレコードに基づく44件のオリジナルタスクケースが含まれ、その後、文脈的拡張により286件のタスクに拡張されています。2件のソースレコードは、それぞれ2つの異なるオリジナルタスクケースをサポートしています。
benchmark/lineage.csv は、各タスクをそのソースレコードにマッピングし、オリジナルケースと拡張ケースを識別し、利用可能な場合は拡張軸を記録します。benchmark/manifest.json は、このリリースの正確なタスクインベントリを固定します。
サポートされているシードからタスクへのエントリポイントは次のとおりです:
./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
--seed-id S0001
コンテキスト拡張は、検証済みのタスクから開始し、割り当てられたタスクと認可境界を維持しながら1つの次元を変化させます。公開パイプラインには、生成プロンプト、決定論的ゲート、有界修復、サービス実現、および拡張コードが含まれます。歴史的な移行ユーティリティと単発の開発スクリプトは意図的に除外されています。
構築段階についてはConstruction pipelineを参照してください。
状況圧力タクソノミーには、プリンシパルの指示に由来するか環境に由来するかによってグループ化された14の圧力が含まれます。その安定したID、定義、メカニズム、および配信チャネルは、taxonomies/situational_pressures.mdおよび機械可読なtrigger_manifestation.jsonで利用可能です。
直接危害タクソノミーは、カテゴリレベルの帰属を保持しながら、Agent-SafetyBenchとOpenAgentSafetyのカテゴリを統合します。taxonomies/direct_harm.mdおよびharm_taxonomy.jsonを参照してください。
ドメインタクソノミーは、認可境界によって保護される情報、資産、または記録に名前を付けます。taxonomies/domains.mdおよびdomain_taxonomy.jsonを参照してください。
Hugging Faceデータセットには、すべての6,864回の実行に対する事後判定と、保持された4,981個の元の軌跡ファイルが含まれています。元の実行ディレクトリがもはや利用できなかった1,883回の実行については、データセットは判定と実行メタデータを保持し、trajectory_available=falseとマークしています。
ソフトウェアおよび元のベンチマーク成果物は、MIT Licenseの下でリリースされています。ソースケースレコードには、第三者による報道の引用と構造化された要約が含まれています。引用されたソース素材は元の条件に従うものであり、ここで再ライセンスされるものではありません。
@article{zhang2026authorizationbench,
title = {Act on Your Behalf, Beyond Your Authorization:
Benchmarking LLM Agent Authorization Alignment},
author = {Zhang, Zhiping and Li, Franklin Mingzhe and
Huang, Raio Zihao and Li, Tianshi},
year = {2026}
}
機械可読な引用メタデータは
CITATION.cff で利用できます。