
Rivalutazione dei rilevatori di prompt-injection sugli output degli strumenti degli agenti LLM (bozza del paper, script, punteggi)
Rivalutare i rilevatori di prompt injection là dove gli agenti LLM li usano effettivamente: sugli output degli strumenti che un agente legge.
I team scelgono i rilevatori di injection in base ai punteggi dei benchmark. Verifichiamo se tali punteggi predicono il comportamento all'interno di un agente, e scopriamo che per lo più misurano quanto il benchmark sia vicino ai dati di addestramento del rilevatore.
Quindici rilevatori (nove open, sei soggetti a licenza tra cui Prompt Guard 2 di Meta) e due giudici LLM consapevoli del task, su due benchmark per agenti (AgentDojo, tau-bench) e su BIPIA. Gli output benigni degli strumenti provengono dal replay delle chiamate agli strumenti ground-truth di ciascun benchmark senza un LLM. Il rilevamento è il TPR alla soglia che dà un FPR dell'1% sugli output benigni dello stesso benchmark.
| Rilevatore | Rilasciato | FPR sugli output benigni degli strumenti (AgentDojo / tau-bench) | Rilevamento AgentDojo | Rilevamento tau-bench | Rilevamento BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(Tutti i 15 rilevatori ed entrambi i giudici, con AUROC e intervalli bootstrap al 95% raggruppati per task: Tabella 2 dell'articolo.)
Tutti i numeri sono rigenerati dai file di punteggio tramite gli script in analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py li scrive nelle macro LaTeX che l'articolo legge.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
Per rigenerare solo i numeri e le figure dai punteggi rilasciati, copiare results/*.json nella directory di lavoro, ricostruire i set .jsonl (passi 1–3 di reproduce.sh, solo CPU, con PYTHONHASHSEED=0), quindi eseguire gli script di analisi del passo 8 e python analysis/make_tables.py && python analysis/make_figures.py.
Esperimenti di robustezza e costo (versione journal):
analysis/compute_robust.py: intervalli bootstrap e test di permutazione per il trasferimento di rango; soglie calibrate su suite AgentDojo tenute fuori.scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 nell'impostazione del benchmark comunitario buried-injections, e una verifica che i set ricostruiti riproducano i punteggi memorizzati.scripts/latency.py, analysis/compute_cost.py: latenza e memoria per output di tool su GPU e CPU.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: un agente reale (Qwen2.5-7B servito da vLLM) esegue AgentDojo senza attacchi; le sue chiamate ai tool vengono riprodotte senza un modello e confrontate output per output.scripts/check_revision.py: quale revisione di Hugging Face ha prodotto i punteggi memorizzati (Horizon-Labs ha modificato i suoi pesi il 2026-10-02; i punteggi memorizzati sono della revisione af3c52e6a9d8).I dati di valutazione sono ricostruiti dalle fonti pubbliche, non ridistribuiti: AgentDojo v1.2, tau-bench (MIT), attacchi InjecAgent (MIT), BIPIA (MIT), README di GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Alcuni script presuppongono che BIPIA e PIGuard siano clonati in ~/agentsec/.
paper/usenix-2020-09-xetex.sty è una copia di build dello stile USENIX che compila con tectonic/XeTeX. Per la sottomissione, passare main.tex allo stile ufficiale usenix-2020-09.sty e compilare con pdflatex.
Preprint su arXiv; versione journal in preparazione. Non valutato contro attacchi adattivi; entrambi i benchmark per agenti sono simulazioni e il punto di iniezione di tau-bench è il nostro; i rilevatori commerciali via API non sono inclusi. Vedere la sezione sui limiti del paper.
Codice, script di analisi e file dei punteggi: MIT (vedere LICENSE). I file di terze parti mantengono i propri termini: lo stile LaTeX USENIX (paper/usenix-2020-09*.sty) e i benchmark e i rilevatori scaricati dagli script (AgentDojo, tau-bench, InjecAgent, BIPIA e la licenza del modello di ciascun rilevatore).