
Réévaluation des détecteurs d'injection de prompt sur les sorties d'outils d'agents LLM (brouillon d'article, scripts, scores)
Réévaluer les détecteurs d'injection de prompt là où les agents LLM les utilisent réellement : sur les sorties d'outils qu'un agent lit.
Les équipes choisissent les détecteurs d'injection en fonction de leurs scores de benchmark. Nous vérifions si ces scores prédisent le comportement à l'intérieur d'un agent, et constatons qu'ils mesurent surtout la proximité du benchmark avec les données d'entraînement du détecteur.
Quinze détecteurs (neuf ouverts, six soumis à licence dont Prompt Guard 2 de Meta) et deux juges LLM sensibles à la tâche, sur deux benchmarks d'agents (AgentDojo, tau-bench) et sur BIPIA. Les sorties d'outils bénignes proviennent du rejeu des appels d'outils de référence de chaque benchmark sans LLM. La détection est le TPR au seuil qui donne 1 % de FPR sur les sorties bénignes du même benchmark.
| Détecteur | Publié | FPR sur sorties d'outils bénignes (AgentDojo / tau-bench) | Détection AgentDojo | Détection tau-bench | Détection BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0,0 % / 0,7 % | 83,1 % | 100,0 % | 37,7 % |
| Wolf Defender | 2026 | 0,9 % / 0,0 % | 70,1 % | 90,8 % | 3,5 % |
| Prompt Guard 2 (22M) | 2025 | 0,0 % / 0,0 % | 60,9 % | 60,8 % | 31,7 % |
| Prompt Guard 2 (86M) | 2025 | 0,6 % / 0,0 % | 57,4 % | 57,9 % | 10,4 % |
| Judge (Llama-3.1-8B) | – | – | 51,9 % | 78,3 % | 8,3 % |
| Prismor-1.5B | 2026 | 6,5 % / 46,2 % | 29,2 % | 15,2 % | 4,0 % |
| Sheltron-68M | 2026 | 10,6 % / 4,4 % | 20,1 % | 95,2 % | 57,2 % |
| PIGuard | 2025 | 29,5 % / 11,0 % | 1,6 % | 52,7 % | 95,1 % |
| ProtectAI v2 | 2024 | 30,1 % / 66,9 % | 0,5 % | 10,1 % | 0,7 % |
(Les 15 détecteurs et les deux juges, avec l'AUROC et les intervalles de confiance bootstrap à 95 % regroupés par tâche : tableau 2 de l'article.)
Tous les chiffres sont régénérés à partir des fichiers de scores par les scripts du répertoire analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py) ; analysis/make_macros.py les écrit dans les macros LaTeX que lit l'article.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
Pour régénérer uniquement les chiffres et les figures à partir des scores publiés, copiez results/*.json dans le répertoire de travail, reconstruisez les ensembles .jsonl (étapes 1 à 3 de reproduce.sh, CPU uniquement, avec PYTHONHASHSEED=0), puis exécutez les scripts d'analyse de l'étape 8 et python analysis/make_tables.py && python analysis/make_figures.py.
Expériences de robustesse et de coût (version journal) :
analysis/compute_robust.py : intervalles bootstrap et tests de permutation pour le transfert de rang ; seuils calibrés sur des suites AgentDojo tenues à l'écart.scripts/score_e6.py, analysis/compute_e6.py : Prompt Guard 2 dans le cadre du benchmark communautaire buried-injections, et vérification que les ensembles reconstruits reproduisent les scores stockés.scripts/latency.py, analysis/compute_cost.py : latence et mémoire par sortie d'outil sur GPU et CPU.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py : un agent réel (Qwen2.5-7B servi par vLLM) exécute AgentDojo sans attaques ; ses appels d'outils sont rejoués sans modèle et comparés sortie par sortie.scripts/check_revision.py : quelle révision Hugging Face a produit les scores stockés (Horizon-Labs a modifié ses poids le 2026-10-02 ; les scores stockés correspondent à la révision af3c52e6a9d8).Les données d'évaluation sont reconstruites à partir des sources publiques, non redistribuées : AgentDojo v1.2, tau-bench (MIT), InjecAgent attacks (MIT), BIPIA (MIT), GitHub READMEs (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Certains scripts supposent que BIPIA et PIGuard sont clonés sous ~/agentsec/.
paper/usenix-2020-09-xetex.sty est une copie de compilation du style USENIX qui compile avec tectonic/XeTeX. Pour la soumission, remplacez dans main.tex le style par le usenix-2020-09.sty officiel et compilez avec pdflatex.
Prépublication sur arXiv ; version journal en préparation. Non évalué contre des attaques adaptatives ; les deux benchmarks d'agents sont des simulations et le point d'injection de tau-bench est le nôtre ; les détecteurs d'API commerciales ne sont pas inclus. Voir la section limitations de l'article.
Code, scripts d'analyse et fichiers de scores : MIT (voir LICENSE). Les fichiers tiers conservent leurs propres conditions : le style LaTeX USENIX (paper/usenix-2020-09*.sty) et les benchmarks et détecteurs téléchargés par les scripts (AgentDojo, tau-bench, InjecAgent, BIPIA, et la licence de modèle de chaque détecteur).