Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
benign-instruction-bench — Повторная оценка детекторов prompt-injection на выводах инструментов LLM-агентов (черновик статьи, скрипты, оценки) | Kitploit
Инструменты/GitHubGitHub/lzwhehe/benign-instruction-bench
Оборонительные ИнструментыАнализ уязвимостейМашинное ОбучениеСтатьи и ИсследованияОбучение и ОбразованиеБезопасность ИИ
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

Повторная оценка детекторов prompt-injection на выводах инструментов LLM-агентов (черновик статьи, скрипты, оценки)

Поделиться
Репозиторий
10524 дней назадЕщё не проверено

Прохождение теста, на котором вы обучались

Переоценка детекторов prompt-injection там, где LLM-агенты действительно их используют: на выходах инструментов, которые читает агент.

Команды выбирают детекторы инъекций по их результатам на бенчмарках. Мы проверяем, предсказывают ли эти оценки поведение внутри агента, и обнаруживаем, что в основном они измеряют, насколько бенчмарк близок к обучающим данным детектора.

Результаты

Пятнадцать детекторов (девять открытых, шесть с лицензионными ограничениями, включая Prompt Guard 2 от Meta) и два LLM-судьи, учитывающих задачу, на двух агентных бенчмарках (AgentDojo, tau-bench) и на BIPIA. Безвредные выходы инструментов получаются путём воспроизведения эталонных вызовов инструментов каждого бенчмарка без участия LLM. Детекция — это TPR при пороге, дающем 1% FPR на безвредных выходах того же бенчмарка.

ДетекторВыпущенFPR на безвредных выходах инструментов (AgentDojo / tau-bench)Детекция AgentDojoДетекция tau-benchДетекция BIPIA
Horizon-Labs guard-base20260.0% / 0.7%83.1%100.0%37.7%
Wolf Defender20260.9% / 0.0%70.1%90.8%3.5%
Prompt Guard 2 (22M)20250.0% / 0.0%60.9%60.8%31.7%
Prompt Guard 2 (86M)20250.6% / 0.0%57.4%57.9%10.4%
Judge (Llama-3.1-8B)––51.9%78.3%8.3%
Prismor-1.5B20266.5% / 46.2%29.2%15.2%4.0%
Sheltron-68M202610.6% / 4.4%20.1%95.2%57.2%
PIGuard202529.5% / 11.0%1.6%52.7%95.1%
ProtectAI v2202430.1% / 66.9%0.5%10.1%0.7%

(Все 15 детекторов и оба судьи, с AUROC и 95% доверительными интервалами бутстрэпа с кластеризацией по задачам: таблица 2 в статье.)

  1. Рейтинги BIPIA в лучшем случае слабо связаны с рейтингами AgentDojo (Kendall τ по 15 детекторам: 0.12, p = 0.559, незначимо; доверительный интервал бутстрэпа от 0.05 до 0.23; исключение отдельных детекторов даёт от 0.01 до 0.25, и 0.25 без PIGuard). Наибольшее расхождение даёт детектор, обученный на распределении BIPIA: лидер BIPIA (PIGuard) занимает тринадцатое место из 15 на AgentDojo. Два агентных бенчмарка согласуются сильнее (τ = 0.39, p = 0.046); BIPIA против tau-bench даёт τ = 0.31.
  2. Доли ложноположительных срабатываний на безвредных выходах инструментов варьируются от 0.0% до 93.1% и согласуются между двумя агентными бенчмарками (τ = 0.67, p = 0.0007).
  3. Оценка PIGuard на BIPIA не зависит от заученных строк атак и согласуется с обучением на распределении BIPIA: его обучающая выборка содержит 1 116 полных входов BIPIA. Он также видел 53 из 62 атак InjecAgent, но лишь в виде коротких промптов; внутри выходов инструментов tau-bench он детектирует как виденные, так и невиденные атаки InjecAgent одинаково (52.1% против 55.8%). Horizon-Labs, обученный на входах в стиле агентов, лидирует на обоих агентных бенчмарках; ни для него, ни для второго по качеству детектора нельзя показать независимость от AgentDojo.
  4. Учитывающие задачу судьи на 7–8B достигают 51.9% (Llama) и 59.0% (Qwen) на AgentDojo и 78.3% и 54.3% на tau-bench при 1% FPR, что ниже лучших специализированных детекторов. За исключением PIGuard, ни один подход не перехватывает более 39% нерелевантных задаче инъекций BIPIA.
  5. Удаление разметки сериализации или объявление типа входа снижает ложноположительные срабатывания при пороге по умолчанию вплоть до примерно двадцатикратного уменьшения, но не делает PIGuard или ProtectAI v2 полезными при 1% FPR на AgentDojo.

Все числа перегенерируются из файлов оценок скриптами в analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py записывает их в LaTeX-макросы, которые читает статья.

Структура

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

Воспроизведение

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

Чтобы перегенерировать только числа и рисунки из опубликованных оценок, скопируйте results/*.json в рабочий каталог, пересоберите наборы .jsonl (шаги 1–3 из reproduce.sh, только CPU, с PYTHONHASHSEED=0), затем запустите скрипты анализа из шага 8 и python analysis/make_tables.py && python analysis/make_figures.py.

Эксперименты по устойчивости и стоимости (журнальная версия):

  • analysis/compute_robust.py: бутстрэп-интервалы и перестановочные тесты для переноса рангов; пороги, откалиброванные на отложенных наборах AgentDojo.
  • scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 в условиях общественного бенчмарка buried-injections и проверка того, что пересобранные наборы воспроизводят сохранённые оценки.
  • scripts/latency.py, analysis/compute_cost.py: задержка и память на один вывод инструмента на GPU и CPU.
  • scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: реальный агент (Qwen2.5-7B, обслуживаемый vLLM) запускает AgentDojo без атак; его вызовы инструментов воспроизводятся без модели и сравниваются вывод за выводом.
  • scripts/check_revision.py: какая ревизия Hugging Face породила сохранённые оценки (Horizon-Labs изменила свои веса 2026-10-02; сохранённые оценки соответствуют ревизии af3c52e6a9d8).

Данные для оценки пересобираются из публичных источников, а не распространяются: AgentDojo v1.2, tau-bench (MIT), атаки InjecAgent (MIT), BIPIA (MIT), README-файлы GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Некоторые скрипты предполагают, что BIPIA и PIGuard склонированы в ~/agentsec/.

Сборка статьи

paper/usenix-2020-09-xetex.sty — это сборочная копия стиля USENIX, которая компилируется с tectonic/XeTeX. Для подачи переключите main.tex на официальный usenix-2020-09.sty и компилируйте с помощью pdflatex.

Статус

Препринт на arXiv; журнальная версия готовится. Не оценивалось против адаптивных атак; оба бенчмарка агентов являются симуляциями, а точка внедрения в tau-bench — наша; коммерческие API-детекторы не включены. См. раздел ограничений в статье.

Лицензия

Код, скрипты анализа и файлы оценок: MIT (см. LICENSE). Сторонние файлы сохраняют свои собственные условия: стиль LaTeX USENIX (paper/usenix-2020-09*.sty), а также бенчмарки и детекторы, которые загружают скрипты (AgentDojo, tau-bench, InjecAgent, BIPIA и лицензия модели каждого детектора).

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Данных о популярности пока нет.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →