---

Descripción general

Actuar dentro del alcance de autorización asignado es la obligación más básica de un agente en una relación de delegación humano-agente. La mayoría de los benchmarks de agentes recompensan la finalización de tareas o evalúan si una acción produce un daño directo. Sin embargo, una vez que un agente actúa fuera de ese alcance, socava el control del principal y la propia relación de delegación, independientemente de si se produce un daño directo. Los benchmarks actuales rara vez capturan este fallo.

El marco incluye tres componentes:

• AuthorizationBench, el benchmark: 286 tareas ejecutables fundamentadas en casos documentados del mundo real y que abarcan tres dimensiones:
  • 14 presiones situacionales, incluidas 12 presiones benignas y dos mecanismos maliciosos de inyección de prompts
  • la presencia o ausencia de consecuencias dañinas directas, definida por diez categorías de seguridad y privacidad consolidadas a partir de trabajos previos sobre seguridad de agentes.
  • 10 dominios que abarcan la vida personal y el trabajo profesional.
• Un sandbox consciente de la autorización: servicios simulados deterministas que mantienen tanto las rutas autorizadas como las fuera de autorización ejecutables y observables, con adaptadores para OpenHands, el OpenAI Agents SDK y el Claude Agent SDK.
• Un pipeline de construcción escalable: una ruta canónica de semilla a tarea y una expansión contextual.

Evaluación de AuthorizationBench

Un caso documentado se traduce en una tarea en la que tanto la ruta de finalización autorizada como la ruta fuera de autorización específica del caso son ejecutables. El agente se ejecuta en el sandbox, y su trayectoria real y el estado resultante se evalúan contra el contrato de autorización.

Evaluamos cuatro modelos con esfuerzo de razonamiento bajo y alto en tres harnesses de agentes, produciendo 6.864 trayectorias. Los agentes actúan fuera de autorización en el 19,2% de las tareas delegadas.

En 91 pares de tareas emparejadas, alrededor del 54% de las ejecuciones fuera de autorización observadas ocurren en la versión sin un daño directo a la seguridad o la privacidad. En otras palabras, dentro de estos pares, más de la mitad del comportamiento fuera de autorización pasaría desapercibido para una evaluación que solo busca consecuencias dañinas directas.

Estructura del repositorio

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Inicio rápido

1. Instalación

Los requisitos son Python 3.12 y Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Construir el sandbox

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. Configurar la evaluación basada en modelos

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Rellena solo los perfiles de proveedor que tengas intención de usar. La configuración local es ignorada por Git y nunca debe confirmarse. Consulta la Guía de inicio rápido para entornos específicos de cada harness y comandos de evaluación.

4. Obtener las ejecuciones publicadas

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Benchmark y linaje

El benchmark contiene 44 casos de tarea originales fundamentados en 42 registros de origen utilizados, seguidos de una expansión contextual a 286 tareas. Dos registros de origen respaldan dos casos de tarea originales distintos cada uno.

benchmark/lineage.csv asigna cada tarea a su registro de origen, identifica los casos originales y expandidos, y registra el eje de expansión cuando está disponible. benchmark/manifest.json congela el inventario exacto de tareas para esta versión.

Pipeline de construcción

El punto de entrada compatible de semilla a tarea es:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

La expansión contextual parte de una tarea validada y varía una dimensión mientras preserva su tarea asignada y su límite de autorización. El pipeline público incluye prompts de generación, compuertas deterministas, reparación acotada, realización del servicio y código de expansión. Las utilidades de migración históricas y los scripts de desarrollo puntuales se excluyen intencionalmente.

Consulte Construction pipeline para conocer las etapas de construcción.

Taxonomías