
LLM 에이전트 도구 출력에 대한 프롬프트 인젝션 탐지기 재평가 (논문 초안, 스크립트, 점수)
LLM 에이전트가 실제로 사용하는 곳에서 프롬프트 인젝션 탐지기를 재평가하기: 에이전트가 읽는 도구 출력에서.
팀들은 벤치마크 점수로 인젝션 탐지기를 선택한다. 우리는 그 점수들이 에이전트 내부에서의 동작을 예측하는지 확인하며, 대부분 벤치마크가 탐지기의 훈련 데이터에 얼마나 가까운지를 측정한다는 것을 발견한다.
15개의 탐지기(오픈 9개, Meta의 Prompt Guard 2를 포함한 라이선스 제한 6개)와 2개의 작업 인식 LLM 판정자, 2개의 에이전트 벤치마크(AgentDojo, tau-bench)와 BIPIA에서. 정상 도구 출력은 LLM 없이 각 벤치마크의 정답 도구 호출을 재생하여 얻는다. 탐지는 동일 벤치마크의 정상 출력에서 1% FPR을 주는 임계값에서의 TPR이다.
| 탐지기 | 출시 | 정상 도구 출력에서의 FPR (AgentDojo / tau-bench) | 탐지 AgentDojo | 탐지 tau-bench | 탐지 BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(15개 탐지기와 두 판정자 전부, AUROC 및 95% 작업 클러스터 부트스트랩 구간 포함: 논문의 표 2.)
모든 수치는 analysis/의 스크립트(compute_all.py, compute_many.py, compute_robust.py, compute_v4.py)에 의해 점수 파일에서 재생성된다; analysis/make_macros.py는 이를 논문이 읽는 LaTeX 매크로에 기록한다.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
릴리스된 점수에서 숫자와 그림만 다시 생성하려면 results/*.json을 작업 디렉터리에 복사하고, .jsonl 세트를 다시 빌드한 뒤(reproduce.sh의 1–3단계, CPU 전용, PYTHONHASHSEED=0 사용), 8단계의 분석 스크립트와 python analysis/make_tables.py && python analysis/make_figures.py를 실행하십시오.
견고성 및 비용 실험 (저널 버전):
analysis/compute_robust.py: 순위 전이에 대한 부트스트랩 구간 및 순열 검정; 홀드아웃 AgentDojo 스위트에서 보정된 임계값.scripts/score_e6.py, analysis/compute_e6.py: 커뮤니티 벤치마크 buried-injections 설정에서의 Prompt Guard 2, 그리고 재빌드된 세트가 저장된 점수를 재현하는지 확인.scripts/latency.py, analysis/compute_cost.py: GPU 및 CPU에서 도구 출력당 지연 시간과 메모리.scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: 실제 에이전트(vLLM으로 서빙되는 Qwen2.5-7B)가 공격 없이 AgentDojo를 실행; 그 도구 호출은 모델 없이 재생되고 출력별로 비교됨.scripts/check_revision.py: 저장된 점수를 생성한 Hugging Face 리비전 (Horizon-Labs는 2026-10-02에 가중치를 변경했으며, 저장된 점수는 리비전 af3c52e6a9d8임).평가 데이터는 재배포되지 않고 공개 소스에서 재빌드됩니다: AgentDojo v1.2, tau-bench (MIT), InjecAgent 공격 (MIT), BIPIA (MIT), GitHub README (h1alexbel/github-readmes), AESLC, FineWeb-Edu. 일부 스크립트는 BIPIA와 PIGuard가 ~/agentsec/ 아래에 클론되어 있다고 가정합니다.
paper/usenix-2020-09-xetex.sty는 tectonic/XeTeX로 컴파일되는 USENIX 스타일의 빌드 사본입니다. 제출 시에는 main.tex를 공식 usenix-2020-09.sty로 전환하고 pdflatex로 컴파일하십시오.
arXiv에 프리프린트; 저널 버전 준비 중. 적응형 공격에 대해 평가되지 않음; 두 에이전트 벤치마크는 시뮬레이션이며 tau-bench의 주입 지점은 자체 설정임; 상용 API 탐지기는 포함되지 않음. 논문의 한계 섹션을 참조하십시오.
코드, 분석 스크립트 및 점수 파일: MIT (LICENSE 참조). 타사 파일은 자체 조건을 유지합니다: USENIX LaTeX 스타일 (paper/usenix-2020-09*.sty) 및 스크립트가 다운로드하는 벤치마크와 탐지기 (AgentDojo, tau-bench, InjecAgent, BIPIA, 그리고 각 탐지기의 모델 라이선스).