
Фреймворк адаптивного ред-тиминга на основе таксономии, который перебирает техники промпт-инъекций и дорабатывает неудачные попытки, чтобы находить разнообразные атаки на LLM-агентов, использующих инструменты.
Код к статье
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AutoPI — это адаптивный инструмент red teaming для LLM-агентов, использующих инструменты. Он создан, чтобы находить множество различных способов взломать агента, а не просто делать это часто. Для каждого сценария атакующий LLM пишет косвенную инъекцию промпта для каждой подтехники таксономии инъекций промптов, а затем перерабатывает неудачные варианты, используя обратную связь от LLM-судьи.
Работающие инъекции редки и, как предполагается, лежат в областях, по одной на технику. AutoPI ведёт поиск в три фазы, которые стратегия может пропускать, изменять по размеру, повторять или переупорядочивать:
Установите AutoPI с прилагаемым AgentDojo. Рекомендуется Python 3.11.
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
Направьте target и генератор на OpenAI-совместимый сервер, например vLLM на порту 8000, и запустите стратегию Full на всех 949 сценариях AgentDojo:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
Добавьте --dry-run, чтобы проверить настройки и вывести список сценариев без вызова модели. Каждый запуск записывает
свои итоговые настройки и каждую попытку каждого сценария в папку --logdir. В коде
генератор называется refiner.
Укажите каждую модель один раз в копии configs/models.example.yaml, затем передайте имена. API-ключи читаются
из переменных окружения и никогда не сохраняются в файле.
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
Провайдеры — это openai-compatible (любой URL), openai, anthropic, google и ollama, а короткие
спецификации, такие как anthropic:MODEL_ID, работают без файла. Конфигурация моделей описывает
параметры декодирования, режимы мышления и восстановление текста, который удалил серверный парсер инструментов.
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
IPI Arena содержит 41 сценарий: 18 сценариев использования инструментов, 15 сценариев программирования и 8 браузерных сценариев. Сценарий считается взломанным только тогда, когда
проходят все его критерии, а --ipi-ignore-concealment выбирает метрику, учитывающую только действия.
Цель использует нативные вызовы инструментов, а браузерным сценариям требуется цель с поддержкой изображений. Бенчмарк
не поставляется с seed, поэтому используйте --seed-source agentdojo, --seed-file или стратегию без блока seed.
--mode 3, значение по умолчанию и настройка из статьи, показывает генератору пользовательскую задачу и цель
инъекции. Режимы 1 и 2 создают шаблоны без учёта цели, а режим 2 также видит пользовательскую задачу.--no-judge, --no-context и --no-legitimize отключают один из трёх адаптивных механизмов.--seed-file использует другой seed, а --no-seed начинает со sweep.--taxonomy-path выполняет sweep другой таксономии с той же структурой файлов.--no-early-stop продолжает работу после первого успеха — для прогонов на покрытие.--shard и --num-shards распределяют прогон между воркерами, а --resume продолжает прерванный прогон.autopi run --help перечисляет все параметры.
Стратегия — это упорядоченный список блоков, бюджет попыток на сценарий и правило остановки. Три файла
в configs/strategies/ — это AutoPI-Full, AutoPI-Seed-Exploit и AutoPI-L1 из статьи. Они
являются примерами, а не ограничениями: