
Повторная оценка детекторов prompt-injection на выводах инструментов LLM-агентов (черновик статьи, скрипты, оценки)
Переоценка детекторов prompt-injection там, где LLM-агенты действительно их используют: на выходах инструментов, которые читает агент.
Команды выбирают детекторы инъекций по их результатам на бенчмарках. Мы проверяем, предсказывают ли эти оценки поведение внутри агента, и обнаруживаем, что в основном они измеряют, насколько бенчмарк близок к обучающим данным детектора.
Пятнадцать детекторов (девять открытых, шесть с лицензионными ограничениями, включая Prompt Guard 2 от Meta) и два LLM-судьи, учитывающих задачу, на двух агентных бенчмарках (AgentDojo, tau-bench) и на BIPIA. Безвредные выходы инструментов получаются путём воспроизведения эталонных вызовов инструментов каждого бенчмарка без участия LLM. Детекция — это TPR при пороге, дающем 1% FPR на безвредных выходах того же бенчмарка.
| Детектор | Выпущен | FPR на безвредных выходах инструментов (AgentDojo / tau-bench) | Детекция AgentDojo | Детекция tau-bench | Детекция BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(Все 15 детекторов и оба судьи, с AUROC и 95% доверительными интервалами бутстрэпа с кластеризацией по задачам: таблица 2 в статье.)
Все числа перегенерируются из файлов оценок скриптами в analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py записывает их в LaTeX-макросы, которые читает статья.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
Чтобы перегенерировать только числа и рисунки из опубликованных оценок, скопируйте results/*.json в рабочий каталог, пересоберите наборы .jsonl (шаги 1–3 из reproduce.sh, только CPU, с PYTHONHASHSEED=0), затем запустите скрипты анализа из шага 8 и python analysis/make_tables.py && python analysis/make_figures.py.
Эксперименты по устойчивости и стоимости (журнальная версия):
analysis/compute_robust.py: бутстрэп-интервалы и перестановочные тесты для переноса рангов; пороги, откалиброванные на отложенных наборах AgentDojo.scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 в условиях общественного бенчмарка buried-injections и проверка того, что пересобранные наборы воспроизводят сохранённые оценки.scripts/latency.py, analysis/compute_cost.py: задержка и память на один вывод инструмента на GPU и CPU.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: реальный агент (Qwen2.5-7B, обслуживаемый vLLM) запускает AgentDojo без атак; его вызовы инструментов воспроизводятся без модели и сравниваются вывод за выводом.scripts/check_revision.py: какая ревизия Hugging Face породила сохранённые оценки (Horizon-Labs изменила свои веса 2026-10-02; сохранённые оценки соответствуют ревизии af3c52e6a9d8).Данные для оценки пересобираются из публичных источников, а не распространяются: AgentDojo v1.2, tau-bench (MIT), атаки InjecAgent (MIT), BIPIA (MIT), README-файлы GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Некоторые скрипты предполагают, что BIPIA и PIGuard склонированы в ~/agentsec/.
paper/usenix-2020-09-xetex.sty — это сборочная копия стиля USENIX, которая компилируется с tectonic/XeTeX. Для подачи переключите main.tex на официальный usenix-2020-09.sty и компилируйте с помощью pdflatex.
Препринт на arXiv; журнальная версия готовится. Не оценивалось против адаптивных атак; оба бенчмарка агентов являются симуляциями, а точка внедрения в tau-bench — наша; коммерческие API-детекторы не включены. См. раздел ограничений в статье.
Код, скрипты анализа и файлы оценок: MIT (см. LICENSE). Сторонние файлы сохраняют свои собственные условия: стиль LaTeX USENIX (paper/usenix-2020-09*.sty), а также бенчмарки и детекторы, которые загружают скрипты (AgentDojo, tau-bench, InjecAgent, BIPIA и лицензия модели каждого детектора).
Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.