---

Panoramica

Agire entro l'ambito di autorizzazione assegnato è l'obbligo più elementare di un agente in una relazione di delega uomo-agente. La maggior parte dei benchmark per agenti premia il completamento del compito o valuta se un'azione produce un danno diretto. Tuttavia, una volta che un agente agisce al di fuori di tale ambito, mina il controllo del principale e la relazione di delega stessa, indipendentemente dal fatto che ne derivi o meno un danno diretto. I benchmark attuali raramente catturano questo fallimento.

Il framework comprende tre componenti:

• AuthorizationBench, il benchmark: 286 compiti eseguibili basati su casi documentati del mondo reale e distribuiti su tre dimensioni:
  • 14 pressioni situazionali, tra cui 12 pressioni benigne e due meccanismi malevoli di prompt injection
  • la presenza o l'assenza di conseguenze dannose dirette, definite da dieci categorie di sicurezza e privacy consolidate a partire da precedenti lavori sulla sicurezza degli agenti.
  • 10 domini che spaziano dalla vita personale al lavoro professionale.
• Una sandbox consapevole dell'autorizzazione: servizi mock deterministici che mantengono eseguibili e osservabili sia i percorsi autorizzati sia quelli fuori autorizzazione, con adapter per OpenHands, l'OpenAI Agents SDK e il Claude Agent SDK.
• Una pipeline di costruzione scalabile: un percorso canonico da seed a compito e un'espansione contestuale.

Valutazione di AuthorizationBench

Un caso documentato viene tradotto in un compito in cui sia il percorso di completamento autorizzato sia il percorso fuori autorizzazione specifico del caso sono eseguibili. L'agente viene eseguito nella sandbox, e la sua traiettoria effettiva e lo stato risultante vengono valutati rispetto al contratto di autorizzazione.

Valutiamo quattro modelli con sforzo di ragionamento basso ed elevato su tre harness per agenti, producendo 6.864 traiettorie. Gli agenti agiscono fuori autorizzazione nel 19,2% dei compiti delegati.

Su 91 coppie di compiti appaiati, circa il 54% delle esecuzioni fuori autorizzazione osservate si verifica nella versione senza un danno diretto alla sicurezza o alla privacy. In altre parole, all'interno di queste coppie, più della metà dei comportamenti fuori autorizzazione sfuggirebbe a una valutazione che cerca solo conseguenze dannose dirette.

Struttura del repository

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Avvio rapido

1. Installazione

I requisiti sono Python 3.12 e Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Crea la sandbox

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. Configurare la valutazione basata su modello

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Compila solo i profili dei provider che intendi utilizzare. La configurazione locale è ignorata da Git e non deve mai essere committata. Consulta la Guida rapida per gli ambienti specifici dell'harness e i comandi di valutazione.

4. Recupera le esecuzioni rilasciate

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Benchmark e lineage

Il benchmark contiene 44 casi di task originali basati su 42 record di origine utilizzati, seguiti da un'espansione contestuale a 286 task. Due record di origine supportano ciascuno due casi di task originali distinti.

benchmark/lineage.csv mappa ogni task al suo record di origine, identifica i casi originali ed espansi e registra l'asse di espansione ove disponibile. benchmark/manifest.json congela l'inventario esatto dei task per questa release.

Pipeline di costruzione

Il punto di ingresso supportato da seed a task è:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

L'espansione contestuale parte da un'attività validata e varia una dimensione preservando l'attività assegnata e il confine di autorizzazione. La pipeline pubblica include prompt di generazione, gate deterministici, riparazione limitata, realizzazione del servizio e codice di espansione. Le utilità di migrazione storiche e gli script di sviluppo una tantum sono intenzionalmente esclusi.

Vedi Construction pipeline per le fasi di costruzione.

Tassonomie