
Neubewertung von Prompt-Injection-Detektoren bei Tool-Ausgaben von LLM-Agenten (Paper-Entwurf, Skripte, Bewertungen)
Prompt-Injection-Detektoren dort neu bewerten, wo LLM-Agenten sie tatsächlich einsetzen: auf den Tool-Ausgaben, die ein Agent liest.
Teams wählen Injection-Detektoren anhand ihrer Benchmark-Ergebnisse aus. Wir prüfen, ob diese Ergebnisse das Verhalten innerhalb eines Agenten vorhersagen, und stellen fest, dass sie größtenteils messen, wie nah der Benchmark an den Trainingsdaten des Detektors liegt.
Fünfzehn Detektoren (neun offene, sechs lizenzpflichtige, darunter Metas Prompt Guard 2) und zwei aufgabenbewusste LLM-Judges, auf zwei Agent-Benchmarks (AgentDojo, tau-bench) und auf BIPIA. Gutartige Tool-Ausgaben stammen aus dem erneuten Abspielen der Ground-Truth-Tool-Aufrufe jedes Benchmarks ohne ein LLM. Die Erkennung ist die TPR bei dem Schwellenwert, der 1 % FPR auf den gutartigen Ausgaben desselben Benchmarks ergibt.
| Detektor | Veröffentlicht | FPR auf gutartigen Tool-Ausgaben (AgentDojo / tau-bench) | Erkennung AgentDojo | Erkennung tau-bench | Erkennung BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0,0 % / 0,7 % | 83,1 % | 100,0 % | 37,7 % |
| Wolf Defender | 2026 | 0,9 % / 0,0 % | 70,1 % | 90,8 % | 3,5 % |
| Prompt Guard 2 (22M) | 2025 | 0,0 % / 0,0 % | 60,9 % | 60,8 % | 31,7 % |
| Prompt Guard 2 (86M) | 2025 | 0,6 % / 0,0 % | 57,4 % | 57,9 % | 10,4 % |
| Judge (Llama-3.1-8B) | – | – | 51,9 % | 78,3 % | 8,3 % |
| Prismor-1.5B | 2026 | 6,5 % / 46,2 % | 29,2 % | 15,2 % | 4,0 % |
| Sheltron-68M | 2026 | 10,6 % / 4,4 % | 20,1 % | 95,2 % | 57,2 % |
| PIGuard | 2025 | 29,5 % / 11,0 % | 1,6 % | 52,7 % | 95,1 % |
| ProtectAI v2 | 2024 | 30,1 % / 66,9 % | 0,5 % | 10,1 % | 0,7 % |
(Alle 15 Detektoren und beide Judges, mit AUROC und 95-%-aufgabenclusterbasierten Bootstrap-Intervallen: Tabelle 2 des Papers.)
Alle Zahlen werden von den Skripten in analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py) aus den Score-Dateien neu erzeugt; analysis/make_macros.py schreibt sie in die LaTeX-Makros, die das Paper liest.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
Um nur die Zahlen und Abbildungen aus den veröffentlichten Scores neu zu erzeugen, kopiere results/*.json in das Arbeitsverzeichnis, baue die .jsonl-Sets neu (Schritte 1–3 von reproduce.sh, nur CPU, mit PYTHONHASHSEED=0) und führe dann die Analysescripts von Schritt 8 sowie python analysis/make_tables.py && python analysis/make_figures.py aus.
Robustheits- und Kostenexperimente (Journal-Version):
analysis/compute_robust.py: Bootstrap-Intervalle und Permutationstests für den Rangtransfer; Schwellenwerte kalibriert auf zurückgehaltenen AgentDojo-Suites.scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 im Setting des Community-Benchmarks buried-injections und eine Prüfung, dass die neu gebauten Sets die gespeicherten Scores reproduzieren.scripts/latency.py, analysis/compute_cost.py: Latenz und Speicher pro Tool-Ausgabe auf GPU und CPU.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: ein echter Agent (Qwen2.5-7B, bereitgestellt von vLLM) führt AgentDojo ohne Angriffe aus; seine Tool-Aufrufe werden ohne Modell wiedergegeben und Ausgabe für Ausgabe verglichen.scripts/check_revision.py: welche Hugging Face Revision die gespeicherten Scores erzeugt hat (Horizon-Labs änderte seine Gewichte am 2026-10-02; die gespeicherten Scores sind Revision af3c52e6a9d8).Die Evaluationsdaten werden aus den öffentlichen Quellen neu gebaut, nicht weiterverbreitet: AgentDojo v1.2, tau-bench (MIT), InjecAgent-Angriffe (MIT), BIPIA (MIT), GitHub READMEs (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Einige Scripts setzen voraus, dass BIPIA und PIGuard unter ~/agentsec/ geklont sind.
paper/usenix-2020-09-xetex.sty ist eine Build-Kopie des USENIX-Stils, die mit tectonic/XeTeX kompiliert. Für die Einreichung stelle main.tex auf das offizielle usenix-2020-09.sty um und kompiliere mit pdflatex.
Preprint auf arXiv; Journal-Version in Vorbereitung. Nicht gegen adaptive Angriffe evaluiert; beide Agent-Benchmarks sind Simulationen und der Injektionspunkt von tau-bench ist unserer; kommerzielle API-Detektoren nicht enthalten. Siehe den Limitations-Abschnitt des Papers.
Code, Analysescripts und Score-Dateien: MIT (siehe LICENSE). Dateien von Drittanbietern behalten ihre eigenen Bedingungen: der USENIX-LaTeX-Stil (paper/usenix-2020-09*.sty) sowie die Benchmarks und Detektoren, die die Scripts herunterladen (AgentDojo, tau-bench, InjecAgent, BIPIA und die Modelllizenz jedes Detektors).