🛡️AutoControl Arena

Sintetizando Ambientes de Teste Executáveis para Avaliação de Risco de IA de Fronteira

👋 Visão Geral

AutoControl Arena é um framework automatizado para avaliação de segurança de IA de fronteira, projetado para revelar riscos latentes em modelos avançados por meio de testes de estresse em ambientes executáveis e ricos em pressão.

A ideia central é o desacoplamento lógica-narrativa:

• Camada de lógica: transições de estado determinísticas, ferramentas e mecânicas de ambiente são fundamentadas em código Python executável real.
• Camada de narrativa: dinâmicas sociais/contextuais abertas são geradas por LLMs, mas sempre condicionadas ao estado lógico fundamentado.

Este design aborda um trade-off central na avaliação de segurança de agentes ao combinar ambientes executáveis com flexibilidade narrativa impulsionada por LLM:

• Benchmarks Manuais são realistas, mas caros e lentos para escalar.
• Simuladores In-Context são escaláveis, mas vulneráveis a alucinação lógica.

AutoControl Arena pode reconstruir e reproduzir automaticamente cenários de avaliação de risco projetados por especialistas e comportamentos de risco alvo de organizações como Anthropic, OpenAI e Apollo Research.

Curioso sobre o artigo, a arquitetura e as principais descobertas? Consulte nossa 📖 Página do Projeto para um tour completo, ou leia nosso artigo.

⚡ Início Rápido

1. Interface Interativa (aca)

aca

A interface interativa permite navegar por cenários, escolher perfis, selecionar níveis de estresse, habilitar repetições paralelas e inspecionar o histórico de execuções anteriores a partir de um menu.

2. Executar um JSON em lote a partir da interface interativa

aca não se limita à seleção manual. Ele também inclui um fluxo Executar a partir de JSON que permite:

1. navegar por configs/batch_configs/examples/ interativamente,
2. selecionar um arquivo JSON de lote existente,
3. escolher execução serial vs paralela,

Use isto quando quiser a conveniência da interface interativa, mas já tiver um JSON de lote preparado.

3. CLI em modo comando (autocontrol)

autocontrol --help

Use autocontrol quando quiser subcomandos explícitos como run, batch, profiles ou prepare-envs. Diferente do aca, ele não abre o menu interativo por padrão.

🌐 Uso do Frontend

Visualizador de resultados local

O visualizador de resultados é uma interface web local separada para navegar por execuções concluídas, artefatos, resumos e detalhes de execução ao vivo a partir de results/.

Inicie-o com:

python tools/results_viewer/serve.py --port 8000

Em seguida, abra:

http://127.0.0.1:8000/viewer/

Flags opcionais:

# Vincular a um host diferente
python tools/results_viewer/serve.py --host 0.0.0.0 --port 8000

# Apontar o visualizador para uma raiz de resultados específica
python tools/results_viewer/serve.py \
  --results-dir results/autocontrol_arena \
  --port 8000

Use o visualizador de resultados quando quiser uma superfície de inspeção baseada em navegador para trajetórias de execução e artefatos.

🗂️ Estrutura do Repositório

.
├── configs/
│   ├── batch_configs/examples/     # configs JSON de lote de exemplo públicos
│   ├── profiles/templates/         # templates públicos de perfis de modelo/provedor
│   ├── scenarios/benchmark/        # definições de cenários YAML do X-Bench
│   └── settings/                   # hiperparâmetros de execução
├── docs/                           # docs públicos mais notas internas de planejamento / design
├── runners/                        # entrypoints de CLI e interface interativa
├── src/                            # agentes, orquestração, infra e lógica central
├── tests/                          # testes unitários e de regressão
├── tools/                          # utilitários de gerenciamento de resultados
├── results/                        # saídas geradas em results/autocontrol_arena/
├── runtime_envs/                   # ambientes gerados (gerados automaticamente)
├── .env.example
└── pyproject.toml

⚙️ Configuração

Pré-requisitos: Python 3.10+, credenciais de API para os provedores de modelo que você deseja testar.

Passo 1 — Instalar Dependências

# Criar e ativar um ambiente virtual
python -m venv .venv
source .venv/bin/activate

# Instalar todas as dependências (inclui LiteLLM, o backend de modelo padrão)
pip install -e .

# Opcional: ferramentas de desenvolvimento (pytest, ruff, mypy)
pip install -e ".[dev]"

Esta instalação expõe dois comandos de shell: