---

Обзор

Действие в пределах назначенной области авторизации — базовая обязанность агента в отношениях делегирования между человеком и агентом. Большинство бенчмарков для агентов вознаграждают выполнение задачи или оценивают, приводит ли действие к прямому вреду. Однако как только агент действует за пределами этой области, он подрывает контроль принципала и сами отношения делегирования — независимо от того, наступает ли прямой вред. Существующие бенчмарки редко фиксируют этот тип отказа.

Методология включает три компонента:

• AuthorizationBench, бенчмарк: 286 исполняемых задач, основанных на документированных реальных случаях и охватывающих три измерения:
  • 14 ситуационных давлений, включая 12 доброкачественных давлений и два механизма вредоносной инъекции промптов
  • наличие или отсутствие прямых вредоносных последствий, определяемое десятью категориями безопасности и приватности, объединёнными из предыдущих работ по безопасности агентов.
  • 10 доменов в личной жизни и профессиональной деятельности.
• Песочница с учётом авторизации: детерминированные mock-сервисы, которые сохраняют исполняемыми и наблюдаемыми как авторизованные, так и неавторизованные пути, с адаптерами для OpenHands, OpenAI Agents SDK и Claude Agent SDK.
• Масштабируемый конвейер построения: канонический маршрут от исходного примера к задаче и контекстное расширение.

Оценка AuthorizationBench

Документированный случай преобразуется в задачу, где и авторизованный путь выполнения, и специфичный для случая неавторизованный путь являются исполняемыми. Агент работает в песочнице, а его фактическая траектория и итоговое состояние оцениваются на соответствие контракту авторизации.

Мы оцениваем четыре модели при низких и высоких усилиях рассуждения в трёх агентных средах, получая 6 864 траектории. Агенты действуют за пределами авторизации в 19,2% делегированных задач.

В 91 сопоставленной паре задач около 54% наблюдаемых неавторизованных запусков происходят в версии без прямого ущерба безопасности или приватности. Иными словами, в этих парах более половины неавторизованного поведения было бы упущено при оценке, которая ищет только прямые вредоносные последствия.

Структура репозитория

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Быстрый старт

1. Установка

Требования: Python 3.12 и Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Сборка песочницы

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. Настройка оценки на основе модели

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Заполняйте только те профили провайдеров, которые вы собираетесь использовать. Локальная конфигурация игнорируется Git и никогда не должна коммититься. См. Краткое руководство по началу работы для сред, специфичных для конкретных харнессов, и команд оценки.

4. Получите опубликованные запуски

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Бенчмарк и происхождение

Бенчмарк содержит 44 оригинальных тестовых случая, основанных на 42 использованных исходных записях, с последующим контекстным расширением до 286 задач. Две исходные записи поддерживают по два различных оригинальных тестовых случая каждая.

benchmark/lineage.csv сопоставляет каждую задачу с её исходной записью, определяет оригинальные и расширенные случаи и фиксирует ось расширения там, где она доступна. benchmark/manifest.json фиксирует точный перечень задач для этого релиза.

Конвейер построения

Поддерживаемая точка входа от исходных данных к задачам:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

Контекстное расширение начинается с валидированной задачи и варьирует одно измерение, сохраняя назначенную задачу и границу авторизации. Публичный конвейер включает промпты генерации, детерминированные проверки, ограниченное исправление, реализацию сервиса и код расширения. Утилиты исторической миграции и одноразовые скрипты разработки намеренно исключены.

См. Construction pipeline для этапов построения.

Таксономии