
LLM एजेंट टूल आउटपुट पर प्रॉम्प्ट-इंजेक्शन डिटेक्टरों का पुनर्मूल्यांकन (पेपर ड्राफ्ट, स्क्रिप्ट, स्कोर)
प्रॉम्प्ट-इंजेक्शन डिटेक्टरों का पुनर्मूल्यांकन वहाँ करना जहाँ LLM एजेंट वास्तव में उनका उपयोग करते हैं: उन टूल आउटपुट पर जिन्हें एक एजेंट पढ़ता है।
टीमें इंजेक्शन डिटेक्टरों को उनके बेंचमार्क स्कोर के आधार पर चुनती हैं। हम जाँचते हैं कि क्या वे स्कोर एक एजेंट के भीतर व्यवहार का पूर्वानुमान लगाते हैं, और पाते हैं कि वे अधिकतर यह मापते हैं कि बेंचमार्क डिटेक्टर के प्रशिक्षण डेटा के कितना करीब है।
पंद्रह डिटेक्टर (नौ ओपन, छह लाइसेंस-गेटेड जिनमें Meta का Prompt Guard 2 शामिल है) और दो टास्क-अवेयर LLM जज, दो एजेंट बेंचमार्क (AgentDojo, tau-bench) और BIPIA पर। बिनाइन टूल आउटपुट प्रत्येक बेंचमार्क के ग्राउंड-ट्रुथ टूल कॉल को LLM के बिना रीप्ले करके प्राप्त किए जाते हैं। डिटेक्शन उस थ्रेशोल्ड पर TPR है जो उसी बेंचमार्क के बिनाइन आउटपुट पर 1% FPR देता है।
| डिटेक्टर | जारी | बिनाइन टूल आउटपुट पर FPR (AgentDojo / tau-bench) | डिटेक्शन AgentDojo | डिटेक्शन tau-bench | डिटेक्शन BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(सभी 15 डिटेक्टर और दोनों जज, AUROC और 95% टास्क-क्लस्टर्ड बूटस्ट्रैप इंटरवल्स के साथ: पेपर की तालिका 2।)
सभी संख्याएँ analysis/ में स्क्रिप्ट्स (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py) द्वारा स्कोर फ़ाइलों से पुनः उत्पन्न की जाती हैं; analysis/make_macros.py उन्हें उन LaTeX मैक्रोज़ में लिखता है जिन्हें पेपर पढ़ता है।
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
केवल जारी किए गए स्कोर से संख्याएँ और आंकड़े पुनः उत्पन्न करने के लिए, results/*.json को कार्यशील निर्देशिका में कॉपी करें, .jsonl सेट पुनः बनाएँ (reproduce.sh के चरण 1–3, केवल CPU, PYTHONHASHSEED=0 के साथ), फिर चरण 8 की विश्लेषण स्क्रिप्ट और python analysis/make_tables.py && python analysis/make_figures.py चलाएँ।
मजबूती और लागत प्रयोग (जर्नल संस्करण):
analysis/compute_robust.py: रैंक स्थानांतरण के लिए बूटस्ट्रैप अंतराल और क्रमचय परीक्षण; होल्ड-आउट AgentDojo सूट पर कैलिब्रेट किए गए थ्रेशोल्ड।scripts/score_e6.py, analysis/compute_e6.py: सामुदायिक बेंचमार्क buried-injections की सेटिंग में Prompt Guard 2, और एक जाँच कि पुनर्निर्मित सेट संग्रहीत स्कोर को पुनः उत्पन्न करते हैं।scripts/latency.py, analysis/compute_cost.py: GPU और CPU पर प्रति टूल आउटपुट विलंबता और मेमोरी।scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: एक वास्तविक एजेंट (vLLM द्वारा परोसा गया Qwen2.5-7B) बिना हमलों के AgentDojo चलाता है; इसके टूल कॉल बिना मॉडल के रीप्ले किए जाते हैं और आउटपुट-दर-आउटपुट तुलना की जाती है।scripts/check_revision.py: किस Hugging Face रिवीजन ने संग्रहीत स्कोर उत्पन्न किए (Horizon-Labs ने 2026-10-02 को अपने वेट बदले; संग्रहीत स्कोर रिवीजन af3c52e6a9d8 के हैं)।मूल्यांकन डेटा सार्वजनिक स्रोतों से पुनर्निर्मित किया जाता है, पुनर्वितरित नहीं: AgentDojo v1.2, tau-bench (MIT), InjecAgent हमले (MIT), BIPIA (MIT), GitHub READMEs (h1alexbel/github-readmes), AESLC, FineWeb-Edu। कुछ स्क्रिप्ट मानती हैं कि BIPIA और PIGuard ~/agentsec/ के अंतर्गत क्लोन किए गए हैं।
paper/usenix-2020-09-xetex.sty USENIX शैली की एक बिल्ड प्रति है जो tectonic/XeTeX के साथ संकलित होती है। सबमिशन के लिए, main.tex को आधिकारिक usenix-2020-09.sty पर स्विच करें और pdflatex के साथ संकलित करें।
arXiv पर प्रीप्रिंट; जर्नल संस्करण तैयारी में। अनुकूली हमलों के विरुद्ध मूल्यांकन नहीं किया गया; दोनों एजेंट बेंचमार्क सिमुलेशन हैं और tau-bench का इंजेक्शन बिंदु हमारा है; वाणिज्यिक API डिटेक्टर शामिल नहीं हैं। पेपर का सीमाएँ अनुभाग देखें।
कोड, विश्लेषण स्क्रिप्ट और स्कोर फ़ाइलें: MIT (LICENSE देखें)। तृतीय-पक्ष फ़ाइलें अपनी स्वयं की शर्तें रखती हैं: USENIX LaTeX शैली (paper/usenix-2020-09*.sty) और स्क्रिप्ट द्वारा डाउनलोड किए जाने वाले बेंचमार्क और डिटेक्टर (AgentDojo, tau-bench, InjecAgent, BIPIA, और प्रत्येक डिटेक्टर का मॉडल लाइसेंस)।