O primeiro benchmark para avaliar quão bem os agentes LLM atuam em alinhamento com o escopo de autorização que lhes foi atribuído.
O primeiro framework sistemático para avaliar o alinhamento de autorização de agentes LLM sob delegação benigna, independentemente de haver ou não consequências prejudiciais diretas.
Agir dentro do escopo de autorização atribuído é a obrigação mais básica de um agente em uma relação de delegação humano-agente. A maioria dos benchmarks de agentes recompensa a conclusão de tarefas ou avalia se uma ação produz dano direto. No entanto, quando um agente age fora desse escopo, ele mina o controle do principal e a própria relação de delegação, independentemente de haver dano direto. Os benchmarks atuais raramente capturam essa falha.
O framework inclui três componentes:
Um caso documentado é traduzido em uma tarefa na qual tanto o caminho de conclusão autorizado quanto o caminho específico do caso fora da autorização são executáveis. O agente é executado no sandbox, e sua trajetória real e o estado resultante são avaliados em relação ao contrato de autorização.
Avaliamos quatro modelos com esforço de raciocínio baixo e alto em três harnesses de agentes, produzindo 6.864 trajetórias. Os agentes agem fora da autorização em 19,2% das tarefas delegadas.
Em 91 pares de tarefas correspondentes, cerca de 54% das execuções fora da autorização observadas ocorrem na versão sem dano direto à segurança ou à privacidade. Em outras palavras, dentro desses pares, mais da metade do comportamento fora da autorização passaria despercebido por uma avaliação que procura apenas consequências prejudiciais diretas.
authorization_eva_sandbox/
├── tasks/ 286 executable task bundles
├── vignettes/ authorization contracts and scenario specifications
├── seeds/ documented source-case summaries used by the benchmark
├── services/ deterministic mock services
├── evaluation/ harness adapters, judges, detectors, and analysis
└── task_generation/ seed-to-task and contextual-expansion pipelines
benchmark/
├── manifest.json frozen release inventory
└── lineage.csv source case to original and expanded task mapping
taxonomies/ environment pressure, direct-harm, and domain definitions
Os requisitos são Python 3.12 e Docker Desktop.
git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh
docker build \
-f authorization_eva_sandbox/Dockerfile.v2 \
-t authorizationbench:sandbox \
authorization_eva_sandbox
cp authorization_eva_sandbox/evaluation/config.toml.example \
authorization_eva_sandbox/evaluation/config.toml
Preencha apenas os perfis de provedor que pretende utilizar. A configuração local é ignorada pelo Git e nunca deve ser commitada. Consulte o Guia de início rápido para ambientes específicos de harness e comandos de avaliação.
python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"
O benchmark contém 44 casos de tarefa originais fundamentados em 42 registros de origem utilizados, seguidos de expansão contextual para 286 tarefas. Dois registros de origem sustentam dois casos de tarefa originais distintos cada.
benchmark/lineage.csv mapeia cada tarefa ao seu registro de origem, identifica casos originais e expandidos, e registra o eixo de expansão quando disponível. benchmark/manifest.json congela o inventário exato de tarefas para esta versão.
O ponto de entrada suportado de seed para tarefa é:
./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
--seed-id S0001
A expansão contextual parte de uma tarefa validada e varia uma dimensão preservando a tarefa atribuída e o limite de autorização. O pipeline público inclui prompts de geração, gates determinísticos, reparo limitado, realização de serviço e código de expansão. Utilitários históricos de migração e scripts de desenvolvimento pontuais são intencionalmente excluídos.
Consulte Construction pipeline para os estágios de construção.