
Reevaluación de los detectores de inyección de prompts en las salidas de herramientas de agentes LLM (borrador de artículo, scripts, puntuaciones)
Reevaluación de los detectores de inyección de prompts allí donde los agentes LLM realmente los utilizan: sobre las salidas de herramientas que un agente lee.
Los equipos eligen detectores de inyección por sus puntuaciones en los benchmarks. Comprobamos si esas puntuaciones predicen el comportamiento dentro de un agente y descubrimos que, en su mayoría, miden cuán cerca está el benchmark de los datos de entrenamiento del detector.
Quince detectores (nueve abiertos, seis con licencia restringida, incluido Prompt Guard 2 de Meta) y dos jueces LLM conscientes de la tarea, sobre dos benchmarks de agentes (AgentDojo, tau-bench) y sobre BIPIA. Las salidas de herramientas benignas provienen de reproducir las llamadas a herramientas de referencia de cada benchmark sin un LLM. La detección es la TPR en el umbral que da un 1% de FPR sobre las salidas benignas del mismo benchmark.
| Detector | Publicado | FPR sobre salidas de herramientas benignas (AgentDojo / tau-bench) | Detección AgentDojo | Detección tau-bench | Detección BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(Los 15 detectores y ambos jueces, con AUROC e intervalos de confianza bootstrap del 95% agrupados por tarea: Tabla 2 del artículo.)
Todas las cifras se regeneran a partir de los archivos de puntuaciones mediante los scripts de analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py las escribe en las macros de LaTeX que lee el artículo.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
Para regenerar solo los números y figuras a partir de las puntuaciones publicadas, copie results/*.json en el directorio de trabajo, reconstruya los conjuntos .jsonl (pasos 1–3 de reproduce.sh, solo CPU, con PYTHONHASHSEED=0), luego ejecute los scripts de análisis del paso 8 y python analysis/make_tables.py && python analysis/make_figures.py.
Experimentos de robustez y coste (versión de revista):
analysis/compute_robust.py: intervalos bootstrap y pruebas de permutación para la transferencia de rangos; umbrales calibrados en conjuntos de validación de AgentDojo.scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 en el escenario del benchmark comunitario de inyecciones ocultas, y una comprobación de que los conjuntos reconstruidos reproducen las puntuaciones almacenadas.scripts/latency.py, analysis/compute_cost.py: latencia y memoria por salida de herramienta en GPU y CPU.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: un agente real (Qwen2.5-7B servido por vLLM) ejecuta AgentDojo sin ataques; sus llamadas a herramientas se reproducen sin un modelo y se comparan salida por salida.scripts/check_revision.py: qué revisión de Hugging Face produjo las puntuaciones almacenadas (Horizon-Labs cambió sus pesos el 2026-10-02; las puntuaciones almacenadas son de la revisión af3c52e6a9d8).Los datos de evaluación se reconstruyen a partir de las fuentes públicas, no se redistribuyen: AgentDojo v1.2, tau-bench (MIT), ataques de InjecAgent (MIT), BIPIA (MIT), READMEs de GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Algunos scripts asumen que BIPIA y PIGuard están clonados en ~/agentsec/.
paper/usenix-2020-09-xetex.sty es una copia de compilación del estilo de USENIX que compila con tectonic/XeTeX. Para el envío, cambie main.tex al usenix-2020-09.sty oficial y compile con pdflatex.
Preprint en arXiv; versión de revista en preparación. No evaluado frente a ataques adaptativos; ambos benchmarks de agentes son simulaciones y el punto de inyección de tau-bench es nuestro; los detectores de API comerciales no están incluidos. Consulte la sección de limitaciones del artículo.
Código, scripts de análisis y archivos de puntuaciones: MIT (véase LICENSE). Los archivos de terceros conservan sus propios términos: el estilo LaTeX de USENIX (paper/usenix-2020-09*.sty) y los benchmarks y detectores que descargan los scripts (AgentDojo, tau-bench, InjecAgent, BIPIA y la licencia del modelo de cada detector).