
إعادة تقييم كاشفات حقن الأوامر على مخرجات أدوات وكيل LLM (مسودة ورقة، نصوص برمجية، نتائج)
إعادة تقييم كواشف حقن الأوامر (prompt-injection) في المواضع التي يستخدمها فيها وكلاء نماذج اللغة الكبيرة (LLM agents) فعليًا: على مخرجات الأدوات التي يقرأها الوكيل.
تختار الفرق كواشف الحقن بناءً على درجاتها في المعايير المرجعية (benchmarks). نتحقق مما إذا كانت تلك الدرجات تتنبأ بالسلوك داخل الوكيل، ونجد أنها تقيس في الغالب مدى قرب المعيار المرجعي من بيانات تدريب الكاشف.
خمسة عشر كاشفًا (تسعة مفتوحة، وستة مقيّدة بترخيص بما في ذلك Prompt Guard 2 من Meta) وحاكمان (judges) من نوع LLM مدركان للمهمة، على معيارين مرجعيين للوكلاء (AgentDojo، tau-bench) وعلى BIPIA. تأتي مخرجات الأدوات الحميدة من إعادة تشغيل استدعاءات الأدوات المرجعية (ground-truth) لكل معيار مرجعي دون LLM. الكشف هو TPR عند العتبة التي تعطي 1% FPR على المخرجات الحميدة للمعيار المرجعي نفسه.
| الكاشف | تاريخ الإصدار | FPR على مخرجات الأدوات الحميدة (AgentDojo / tau-bench) | الكشف AgentDojo | الكشف tau-bench | الكشف BIPIA |
|---|---|---|---|---|---|
| Horizon-Labs guard-base | 2026 | 0.0% / 0.7% | 83.1% | 100.0% | 37.7% |
| Wolf Defender | 2026 | 0.9% / 0.0% | 70.1% | 90.8% | 3.5% |
| Prompt Guard 2 (22M) | 2025 | 0.0% / 0.0% | 60.9% | 60.8% | 31.7% |
| Prompt Guard 2 (86M) | 2025 | 0.6% / 0.0% | 57.4% | 57.9% | 10.4% |
| Judge (Llama-3.1-8B) | – | – | 51.9% | 78.3% | 8.3% |
| Prismor-1.5B | 2026 | 6.5% / 46.2% | 29.2% | 15.2% | 4.0% |
| Sheltron-68M | 2026 | 10.6% / 4.4% | 20.1% | 95.2% | 57.2% |
| PIGuard | 2025 | 29.5% / 11.0% | 1.6% | 52.7% | 95.1% |
| ProtectAI v2 | 2024 | 30.1% / 66.9% | 0.5% | 10.1% | 0.7% |
(جميع الكواشف الخمسة عشر والحاكمين، مع AUROC وفواصل ثقة bootstrap بنسبة 95% مجمّعة حسب المهمة: الجدول 2 من الورقة.)
تُعاد جميع الأرقام توليدها من ملفات الدرجات بواسطة السكربتات في analysis/ (compute_all.py، compute_many.py، compute_robust.py، compute_v4.py)؛ ويكتبها analysis/make_macros.py إلى وحدات ماكرو LaTeX التي تقرأها الورقة.
scripts/ build evaluation sets, score detectors and judges
analysis/ compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/ detector and judge scores used in the paper
paper/ LaTeX source, figures, compiled main.pdf
pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh
لإعادة توليد الأرقام والرسوم فقط من الدرجات المنشورة، انسخ results/*.json إلى دليل العمل، وأعد بناء مجموعات .jsonl (الخطوات 1–3 من reproduce.sh، على وحدة المعالجة المركزية فقط، مع PYTHONHASHSEED=0)، ثم شغّل سكربتات التحليل في الخطوة 8 وpython analysis/make_tables.py && python analysis/make_figures.py.
تجارب المتانة والتكلفة (نسخة المجلة):
analysis/compute_robust.py: فترات bootstrap واختبارات التبديل لنقل الرتبة؛ عتبات معايَرة على مجموعات AgentDojo المحجوزة.scripts/score_e6.py، analysis/compute_e6.py: Prompt Guard 2 في إعداد المعيار المجتمعي للحقن المدفون، وفحص أن المجموعات المعاد بناؤها تعيد إنتاج الدرجات المخزنة.scripts/latency.py، analysis/compute_cost.py: زمن الاستجابة والذاكرة لكل مخرجات أداة على وحدة معالجة الرسوميات ووحدة المعالجة المركزية.scripts/e5_run.py، scripts/e5_compare.py، scripts/e5_score.py: وكيل حقيقي (Qwen2.5-7B يخدمه vLLM) يشغّل AgentDojo دون هجمات؛ تُعاد استدعاءات أدواته دون نموذج وتُقارن المخرجات مخرجًا بمخرج.scripts/check_revision.py: أي مراجعة على Hugging Face أنتجت الدرجات المخزنة (غيّرت Horizon-Labs أوزانها في 2026-10-02؛ الدرجات المخزنة هي المراجعة af3c52e6a9d8).تُعاد بيانات التقييم بناؤها من المصادر العامة، ولا يُعاد توزيعها: AgentDojo v1.2، tau-bench (MIT)، هجمات InjecAgent (MIT)، BIPIA (MIT)، ملفات README على GitHub (h1alexbel/github-readmes)، AESLC، FineWeb-Edu. تفترض بعض السكربتات أن BIPIA وPIGuard مستنسختان تحت ~/agentsec/.
paper/usenix-2020-09-xetex.sty هو نسخة بناء من نمط USENIX تُترجم باستخدام tectonic/XeTeX. للتقديم، بدّل main.tex إلى usenix-2020-09.sty الرسمي وترجم باستخدام pdflatex.
نسخة أولية على arXiv؛ نسخة المجلة قيد الإعداد. لم تُقيَّم ضد الهجمات التكيفية؛ كلا معياري الوكلاء محاكاة ونقطة الحقن في tau-bench من عندنا؛ كواشف واجهات API التجارية غير مشمولة. راجع قسم القيود في الورقة البحثية.
الشيفرة وسكربتات التحليل وملفات الدرجات: MIT (انظر LICENSE). تحتفظ ملفات الأطراف الثالثة بشروطها الخاصة: نمط LaTeX الخاص بـ USENIX (paper/usenix-2020-09*.sty) والمعايير والكواشف التي تنزّلها السكربتات (AgentDojo، tau-bench، InjecAgent، BIPIA، وترخيص نموذج كل كاشف).