Skip to content
KitploitKITPLOIT
أدواتعمليات الاستغلالالمدونة
Log in
إرسال
أدواتعمليات الاستغلالالمدونة
إرسال

أدوات الاختراق واختبار الاختراق والأمن السيبراني لترسانتك الأمنية!

Kitploit هو دليل لأدوات الاختراق والأمن السيبراني واختبار الاختراق. اكتشف آخر تحديثات المشاريع للعثور على الثغرات وتحليل الأنظمة وأتمتة الاختبارات وتعزيز أمنك.

الخلاصاتاتصالالخصوصية© 2026 Kitploit

دليل الأدوات

الفئات

عرض جميع الفئات
Loading categories
أدوات/GitHubGitHub/lzwhehe/benign-instruction-bench
أدوات دفاعيةتحليل الثغرات الأمنيةتعلم الآلةالأوراق والأبحاثالتعلم والتعليمأمن الذكاء الاصطناعي
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

إعادة تقييم كاشفات حقن الأوامر على مخرجات أدوات وكيل LLM (مسودة ورقة، نصوص برمجية، نتائج)

مشاركة
عرض المستودع
105منذ 24 أياملم تتم المراجعة بعد

اجتياز الاختبار الذي دُرِّبت عليه

إعادة تقييم كواشف حقن الأوامر (prompt-injection) في المواضع التي يستخدمها فيها وكلاء نماذج اللغة الكبيرة (LLM agents) فعليًا: على مخرجات الأدوات التي يقرأها الوكيل.

تختار الفرق كواشف الحقن بناءً على درجاتها في المعايير المرجعية (benchmarks). نتحقق مما إذا كانت تلك الدرجات تتنبأ بالسلوك داخل الوكيل، ونجد أنها تقيس في الغالب مدى قرب المعيار المرجعي من بيانات تدريب الكاشف.

النتائج

خمسة عشر كاشفًا (تسعة مفتوحة، وستة مقيّدة بترخيص بما في ذلك Prompt Guard 2 من Meta) وحاكمان (judges) من نوع LLM مدركان للمهمة، على معيارين مرجعيين للوكلاء (AgentDojo، tau-bench) وعلى BIPIA. تأتي مخرجات الأدوات الحميدة من إعادة تشغيل استدعاءات الأدوات المرجعية (ground-truth) لكل معيار مرجعي دون LLM. الكشف هو TPR عند العتبة التي تعطي 1% FPR على المخرجات الحميدة للمعيار المرجعي نفسه.

الكاشفتاريخ الإصدارFPR على مخرجات الأدوات الحميدة (AgentDojo / tau-bench)الكشف AgentDojoالكشف tau-benchالكشف BIPIA
Horizon-Labs guard-base20260.0% / 0.7%83.1%100.0%37.7%
Wolf Defender20260.9% / 0.0%70.1%90.8%3.5%
Prompt Guard 2 (22M)20250.0% / 0.0%60.9%60.8%31.7%
Prompt Guard 2 (86M)20250.6% / 0.0%57.4%57.9%10.4%
Judge (Llama-3.1-8B)––51.9%78.3%8.3%
Prismor-1.5B20266.5% / 46.2%29.2%15.2%4.0%
Sheltron-68M202610.6% / 4.4%20.1%95.2%57.2%
PIGuard202529.5% / 11.0%1.6%52.7%95.1%
ProtectAI v2202430.1% / 66.9%0.5%10.1%0.7%

(جميع الكواشف الخمسة عشر والحاكمين، مع AUROC وفواصل ثقة bootstrap بنسبة 95% مجمّعة حسب المهمة: الجدول 2 من الورقة.)

  1. ترتيبات BIPIA مرتبطة بترتيبات AgentDojo ارتباطًا ضعيفًا على الأكثر (Kendall τ عبر 15 كاشفًا: 0.12، p = 0.559، غير دال إحصائيًا؛ فاصل bootstrap من 0.05 إلى 0.23؛ واستبعاد كاشف واحد يعطي من 0.01 إلى 0.25، و0.25 بدون PIGuard). أكبر انعكاس يأتي من كاشف دُرِّب على توزيع BIPIA: متصدر BIPIA (PIGuard) يحتل المرتبة الثالثة عشرة من 15 على AgentDojo. يتفق المعياران المرجعيان للوكلاء أكثر (τ = 0.39، p = 0.046)؛ أما BIPIA مقابل tau-bench فيعطي τ = 0.31.
  2. تتراوح معدلات الإيجابيات الكاذبة على مخرجات الأدوات الحميدة من 0.0% إلى 93.1% وهي متسقة عبر المعيارين المرجعيين للوكلاء (τ = 0.67، p = 0.0007).
  3. لا تعتمد درجة PIGuard على BIPIA على سلاسل هجوم محفوظة، وهي متسقة مع التدريب على توزيع BIPIA: إذ تحتوي حصة تدريبه على 1,116 مدخلًا كاملًا من BIPIA. كما رأى 53 من أصل 62 هجومًا من InjecAgent، لكن كأوامر (prompts) قصيرة فقط؛ وداخل مخرجات أدوات tau-bench يكشف هجمات InjecAgent المرئية وغير المرئية على حد سواء (52.1% مقابل 55.8%). يتصدر Horizon-Labs، المدرَّب على مدخلات بنمط الوكلاء، كلا المعيارين المرجعيين للوكلاء؛ ولا يمكن إثبات استقلال كلٍّ منه ومن ثاني أفضل كاشف عن AgentDojo.
  4. يبلغ الحاكمان المدركان للمهمة بحجم 7–8B نسبة 51.9% (Llama) و59.0% (Qwen) على AgentDojo و78.3% و54.3% على tau-bench عند 1% FPR، وهي أقل من أفضل الكواشف المخصصة. وباستثناء PIGuard، لا يلتقط أي نهج أكثر من 39% من حقن BIPIA غير المرتبطة بالمهمة.
  5. إن إزالة ترميز التسلسل (serialization markup) أو الإفصاح عن نوع المدخل يخفض الإيجابيات الكاذبة عند العتبة الافتراضية بما يصل إلى نحو عشرين ضعفًا، لكنه لا يجعل PIGuard أو ProtectAI v2 مفيدين عند 1% FPR على AgentDojo.

تُعاد جميع الأرقام توليدها من ملفات الدرجات بواسطة السكربتات في analysis/ (compute_all.py، compute_many.py، compute_robust.py، compute_v4.py)؛ ويكتبها analysis/make_macros.py إلى وحدات ماكرو LaTeX التي تقرأها الورقة.

البنية

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

إعادة الإنتاج

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

لإعادة توليد الأرقام والرسوم فقط من الدرجات المنشورة، انسخ results/*.json إلى دليل العمل، وأعد بناء مجموعات .jsonl (الخطوات 1–3 من reproduce.sh، على وحدة المعالجة المركزية فقط، مع PYTHONHASHSEED=0)، ثم شغّل سكربتات التحليل في الخطوة 8 وpython analysis/make_tables.py && python analysis/make_figures.py.

تجارب المتانة والتكلفة (نسخة المجلة):

  • analysis/compute_robust.py: فترات bootstrap واختبارات التبديل لنقل الرتبة؛ عتبات معايَرة على مجموعات AgentDojo المحجوزة.
  • scripts/score_e6.py، analysis/compute_e6.py: Prompt Guard 2 في إعداد المعيار المجتمعي للحقن المدفون، وفحص أن المجموعات المعاد بناؤها تعيد إنتاج الدرجات المخزنة.
  • scripts/latency.py، analysis/compute_cost.py: زمن الاستجابة والذاكرة لكل مخرجات أداة على وحدة معالجة الرسوميات ووحدة المعالجة المركزية.
  • scripts/e5_run.py، scripts/e5_compare.py، scripts/e5_score.py: وكيل حقيقي (Qwen2.5-7B يخدمه vLLM) يشغّل AgentDojo دون هجمات؛ تُعاد استدعاءات أدواته دون نموذج وتُقارن المخرجات مخرجًا بمخرج.
  • scripts/check_revision.py: أي مراجعة على Hugging Face أنتجت الدرجات المخزنة (غيّرت Horizon-Labs أوزانها في 2026-10-02؛ الدرجات المخزنة هي المراجعة af3c52e6a9d8).

تُعاد بيانات التقييم بناؤها من المصادر العامة، ولا يُعاد توزيعها: AgentDojo v1.2، tau-bench (MIT)، هجمات InjecAgent (MIT)، BIPIA (MIT)، ملفات README على GitHub (h1alexbel/github-readmes)، AESLC، FineWeb-Edu. تفترض بعض السكربتات أن BIPIA وPIGuard مستنسختان تحت ~/agentsec/.

بناء الورقة البحثية

paper/usenix-2020-09-xetex.sty هو نسخة بناء من نمط USENIX تُترجم باستخدام tectonic/XeTeX. للتقديم، بدّل main.tex إلى usenix-2020-09.sty الرسمي وترجم باستخدام pdflatex.

الحالة

نسخة أولية على arXiv؛ نسخة المجلة قيد الإعداد. لم تُقيَّم ضد الهجمات التكيفية؛ كلا معياري الوكلاء محاكاة ونقطة الحقن في tau-bench من عندنا؛ كواشف واجهات API التجارية غير مشمولة. راجع قسم القيود في الورقة البحثية.

الترخيص

الشيفرة وسكربتات التحليل وملفات الدرجات: MIT (انظر LICENSE). تحتفظ ملفات الأطراف الثالثة بشروطها الخاصة: نمط LaTeX الخاص بـ USENIX (paper/usenix-2020-09*.sty) والمعايير والكواشف التي تنزّلها السكربتات (AgentDojo، tau-bench، InjecAgent، BIPIA، وترخيص نموذج كل كاشف).

تنزيل الأداة

الأكثر شعبية

عرض الكل →

اكتشف الأدوات الأكثر استخدامًا من قبل مجتمعنا.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 مجموعة أدوات OSINT المثالية: رسم بياني للتحقيق، وتقييم الثقة، وعائلات الأسماء المستعارة، وخريطة، وخط زمني، وتقارير. 49 وحدة، وأكثر من 400 موقع، دون الحاجة إلى مفاتيح API.

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # تطبيق GhostLock للتنفيذ بنقرة واحدة (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    منصة اختبار اختراق مستقلة متعددة الوكلاء تعتمد على LLM، مع وكلاء تخطيط وتنفيذ، ومخططات للأصول والاستكشاف، وتسجيل حركة مرور MITM، وإعادة اختبار الثغرات.

    405
  • 4

    redforge

    cybersecurity91/redforge

    مجموعة أدوات الفريق الأحمر في المتصفح مع 102 أداة دون اتصال للاستطلاع، وتوليد الحمولات، وهجمات بيانات الاعتماد، والتشفير، والترميز، وإعداد تقارير المهام.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    نظام العمل للأمن السيبراني الأصلي بالذكاء الاصطناعي — حيث تتحول النية إلى تنفيذ محكوم، وتصبح الأدلة ذاكرة تشغيلية، وكل عملية تحسن التي تليها.

    261
  • 6

    antifox

    antifox-ai/antifox

    منصة اختبار اختراق متعددة الوكلاء ذاتية التشغيل بالذكاء الاصطناعي تُجري الاستطلاع واكتشاف سطح الهجوم والتحقق من الاستغلال وتسليم تقارير مدعومة بالأدلة.

    259

استكشف جميع الأدوات

تصفح مجموعتنا من الأدوات

عرض جميع الأدوات →