
Estrutura de red teaming adaptativo guiada por taxonomia que varre técnicas de injeção de prompt e refina tentativas falhas para encontrar ataques diversos contra agentes LLM que utilizam ferramentas.
Código para o artigo
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
O AutoPI é um red teamer adaptativo para agentes LLM que utilizam ferramentas. Ele foi criado para encontrar muitas formas diferentes de comprometer um agente, e não apenas para comprometê-lo com frequência. Para cada cenário, um LLM atacante escreve uma injeção indireta de prompt para cada sub-técnica de uma taxonomia de injeção de prompt e, em seguida, reformula as que falham usando feedback de um LLM juiz.
Injeções que funcionam são raras e conjectura-se que estejam em regiões, uma por técnica. O AutoPI busca em três fases, que uma estratégia pode pular, redimensionar, repetir ou reordenar:
Instale o AutoPI com o AgentDojo incluído. Recomenda-se Python 3.11.
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
Aponte o alvo e o gerador para um servidor compatível com OpenAI, como o vLLM na porta 8000, e execute a estratégia Full em todos os 949 cenários do AgentDojo:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
Adicione --dry-run para verificar as configurações e listar os cenários sem chamar um modelo. Cada execução grava
suas configurações resolvidas e cada tentativa de cada cenário na pasta --logdir. No código, o
gerador é chamado de refiner.
Nomeie cada modelo uma vez em uma cópia de configs/models.example.yaml, depois passe os nomes. As chaves de API são lidas
de variáveis de ambiente e nunca armazenadas no arquivo.
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
Os provedores são openai-compatible (qualquer URL), openai, anthropic, google e ollama, e especificações curtas como anthropic:MODEL_ID funcionam sem um arquivo. A configuração de modelo aborda configurações de decodificação, modos de raciocínio e a recuperação de texto que um parser de ferramentas do lado do servidor removeu.
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
IPI Arena tem 41 cenários: 18 de uso de ferramentas, 15 de codificação e 8 de navegador. Um cenário só é considerado quebrado quando
todos os seus critérios passam, e --ipi-ignore-concealment seleciona uma métrica apenas de ação.
O alvo usa chamadas de ferramentas nativas, e os cenários de navegador exigem um alvo com capacidade de imagem. O benchmark
não inclui seed, então use --seed-source agentdojo, um --seed-file, ou uma estratégia sem bloco de seed.
--mode 3, o padrão e a configuração do artigo, mostra ao gerador a tarefa do usuário e o objetivo da injeção.
Os modos 1 e 2 escrevem templates sem conhecimento do objetivo, e o modo 2 também vê a tarefa do usuário.--no-judge, --no-context e --no-legitimize desativam um dos três mecanismos adaptativos.--seed-file usa outra seed, e --no-seed inicia com a varredura.--taxonomy-path varre outra taxonomia com o mesmo layout de arquivo.--no-early-stop continua após o primeiro sucesso, para execuções de cobertura.--shard e --num-shards dividem uma execução entre workers, e --resume continua uma execução interrompida.autopi run --help lista todas as opções.
Uma estratégia é uma lista ordenada de blocos, um orçamento de tentativas por cenário e uma regra de parada. Os três arquivos
em configs/strategies/ são o AutoPI-Full, AutoPI-Seed-Exploit e AutoPI-L1 do artigo. Eles são
exemplos, não limites: