🛡️AutoControl Arena

Синтез исполняемых тестовых сред для оценки рисков передовых ИИ

👋 Обзор

AutoControl Arena — это автоматизированная платформа для оценки безопасности передовых ИИ, предназначенная для выявления скрытых рисков в продвинутых моделях путём стресс-тестирования в исполняемых средах с высоким уровнем давления.

Основная идея — разделение логики и нарратива:

• Слой логики: детерминированные переходы состояний, инструменты и механика среды основаны на реальном исполняемом коде Python.
• Слой нарратива: открытые социальные и контекстные динамики генерируются LLM, но всегда обусловлены обоснованным логическим состоянием.

Такая архитектура решает центральный компромисс в оценке безопасности агентов, объединяя исполняемые среды с гибкостью нарратива, управляемого LLM:

• Ручные бенчмарки реалистичны, но дороги и медленно масштабируются.
• Контекстные симуляторы масштабируемы, но подвержены галлюцинациям логики.

AutoControl Arena способна автоматически реконструировать и воспроизводить разработанные экспертами сценарии оценки рисков и целевые рискованные поведения от таких организаций, как Anthropic, OpenAI и Apollo Research.

Хотите узнать о статье, архитектуре и ключевых выводах? Полный обзор — на нашей 📖 странице проекта, или читайте нашу статью.

⚡ Быстрый старт

1. Интерактивный интерфейс (aca)

aca

Интерактивный интерфейс позволяет просматривать сценарии, выбирать профили, задавать уровни стресса, включать параллельные повторы и просматривать историю предыдущих запусков через меню.

2. Запуск пакетного JSON из интерактивного интерфейса

aca не ограничивается ручным выбором. Он также включает поток Запуск из JSON, который позволяет:

1. интерактивно просматривать configs/batch_configs/examples/,
2. выбрать существующий файл пакетного JSON,
3. выбрать последовательное или параллельное выполнение,

Используйте это, когда вам нужно удобство интерактивного интерфейса, но пакетный JSON уже подготовлен.

3. CLI в командном режиме (autocontrol)

autocontrol --help

Используйте autocontrol, когда нужны явные подкоманды, такие как run, batch, profiles или prepare-envs. В отличие от aca, он по умолчанию не открывает интерактивное меню.

🌐 Использование фронтенда

Локальный просмотрщик результатов

Просмотрщик результатов — это отдельный локальный веб-интерфейс для просмотра завершённых запусков, артефактов, сводок и деталей выполнения в реальном времени из results/.

Запустите его командой:

python tools/results_viewer/serve.py --port 8000

Затем откройте:

http://127.0.0.1:8000/viewer/

Дополнительные флаги:

# Bind to a different host
python tools/results_viewer/serve.py --host 0.0.0.0 --port 8000

# Point the viewer at a specific results root
python tools/results_viewer/serve.py \
  --results-dir results/autocontrol_arena \
  --port 8000

Используйте просмотрщик результатов, когда нужна браузерная поверхность для изучения траекторий запусков и артефактов.

🗂️ Структура репозитория

.
├── configs/
│   ├── batch_configs/examples/     # public example batch JSON configs
│   ├── profiles/templates/         # public model/provider profile templates
│   ├── scenarios/benchmark/        # X-Bench YAML scenario definitions
│   └── settings/                   # runtime hyperparameters
├── docs/                           # public docs plus internal planning / design notes
├── runners/                        # CLI entrypoints and interactive UI
├── src/                            # agents, orchestration, infra, and core logic
├── tests/                          # unit and regression tests
├── tools/                          # result management utilities
├── results/                        # generated outputs under results/autocontrol_arena/
├── runtime_envs/                   # generated environments (auto-generated)
├── .env.example
└── pyproject.toml

⚙️ Установка

Требования: Python 3.10+, учётные данные API для провайдеров моделей, которые вы хотите тестировать.

Шаг 1 — Установка зависимостей

# Create and activate a virtual environment
python -m venv .venv
source .venv/bin/activate

# Install all dependencies (includes LiteLLM, the default model backend)
pip install -e .

# Optional: dev tools (pytest, ruff, mypy)
pip install -e ".[dev]"

Эта установка предоставляет две shell-команды:

• aca — интерактивная точка входа оператора
• autocontrol — CLI в командном режиме для скриптинга и автоматизации

Шаг 2 — Настройка учётных данных API

cp .env.example .env