
Reavaliando detectores de prompt-injection em saídas de ferramentas de agentes LLM (rascunho de artigo, scripts, pontuações)
Reavaliando detectores de injeção de prompt onde agentes LLM realmente os utilizam: nas saídas de ferramentas que um agente lê.
As equipes escolhem detectores de injeção pelas suas pontuações em benchmarks. Verificamos se essas pontuações predizem o comportamento dentro de um agente e descobrimos que elas medem, em grande parte, o quão próximo o benchmark está dos dados de treinamento do detector.
Quinze detectores (nove abertos, seis com licença restrita, incluindo o Prompt Guard 2 da Meta) e dois juízes LLM cientes da tarefa, em dois benchmarks de agentes (AgentDojo, tau-bench) e no BIPIA. As saídas benignas de ferramentas vêm da reprodução das chamadas de ferramentas ground-truth de cada benchmark sem um LLM. A detecção é a TPR no limiar que fornece 1% de FPR nas saídas benignas do mesmo benchmark.
| Detector | Lançado | FPR em saídas benignas de ferramentas (AgentDojo / tau-bench) | Detecção AgentDojo | Detecção tau-bench | Detecção BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0,0% / 0,7% | 83,1% | 100,0% | 37,7% |
| Wolf Defender | 2026 | 0,9% / 0,0% | 70,1% | 90,8% | 3,5% |
| Prompt Guard 2 (22M) | 2025 | 0,0% / 0,0% | 60,9% | 60,8% | 31,7% |
| Prompt Guard 2 (86M) | 2025 | 0,6% / 0,0% | 57,4% | 57,9% | 10,4% |
| Judge (Llama-3.1-8B) | – | – | 51,9% | 78,3% | 8,3% |
| Prismor-1.5B | 2026 | 6,5% / 46,2% | 29,2% | 15,2% | 4,0% |
| Sheltron-68M | 2026 | 10,6% / 4,4% | 20,1% | 95,2% | 57,2% |
| PIGuard | 2025 | 29,5% / 11,0% | 1,6% | 52,7% | 95,1% |
| ProtectAI v2 | 2024 | 30,1% / 66,9% | 0,5% | 10,1% | 0,7% |
(Todos os 15 detectores e ambos os juízes, com AUROC e intervalos de bootstrap de 95% agrupados por tarefa: Tabela 2 do artigo.)
Todos os números são regenerados a partir dos arquivos de pontuação pelos scripts em analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py os grava nas macros LaTeX que o artigo lê.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
Para regenerar apenas os números e figuras a partir das pontuações publicadas, copie results/*.json para o diretório de trabalho, reconstrua os conjuntos .jsonl (passos 1–3 de reproduce.sh, apenas CPU, com PYTHONHASHSEED=0) e, em seguida, execute os scripts de análise do passo 8 e python analysis/make_tables.py && python analysis/make_figures.py.
Experimentos de robustez e custo (versão de periódico):
analysis/compute_robust.py: intervalos bootstrap e testes de permutação para transferência de ranking; limiares calibrados em suítes AgentDojo de validação.scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 no cenário do benchmark comunitário buried-injections, e uma verificação de que os conjuntos reconstruídos reproduzem as pontuações armazenadas.scripts/latency.py, analysis/compute_cost.py: latência e memória por saída de ferramenta em GPU e CPU.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: um agente real (Qwen2.5-7B servido por vLLM) executa o AgentDojo sem ataques; suas chamadas de ferramenta são reproduzidas sem modelo e comparadas saída por saída.scripts/check_revision.py: qual revisão do Hugging Face produziu as pontuações armazenadas (a Horizon-Labs alterou seus pesos em 2026-10-02; as pontuações armazenadas são da revisão af3c52e6a9d8).Os dados de avaliação são reconstruídos a partir das fontes públicas, não redistribuídos: AgentDojo v1.2, tau-bench (MIT), ataques InjecAgent (MIT), BIPIA (MIT), READMEs do GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Alguns scripts assumem que BIPIA e PIGuard estão clonados em ~/agentsec/.
paper/usenix-2020-09-xetex.sty é uma cópia de compilação do estilo USENIX que compila com tectonic/XeTeX. Para submissão, altere main.tex para o usenix-2020-09.sty oficial e compile com pdflatex.
Preprint no arXiv; versão de periódico em preparação. Não avaliado contra ataques adaptativos; ambos os benchmarks de agentes são simulações e o ponto de injeção do tau-bench é nosso; detectores de API comerciais não incluídos. Consulte a seção de limitações do artigo.
Código, scripts de análise e arquivos de pontuação: MIT (consulte LICENSE). Arquivos de terceiros mantêm seus próprios termos: o estilo LaTeX USENIX (paper/usenix-2020-09*.sty) e os benchmarks e detectores que os scripts baixam (AgentDojo, tau-bench, InjecAgent, BIPIA e a licença do modelo de cada detector).
Descubra as ferramentas mais usadas pela nossa comunidade.
Sem dados de popularidade ainda.