مجموعة بيانات حقن الأوامر متعددة الوسائط

516,588 عينة مُوسومة (251,782 هجوم + 251,576 عينة حميدة، بالإضافة إلى تقسيم تحقق واقعي مكون من 13,230 عينة) عبر خمس نسخ من مجموعة البيانات بالإضافة إلى استيعاب مجموعة بيانات خارجية، تغطي الهجمات عبر الوسائط، متعددة الأدوار، اللاحقة الخصومة، قالب الهروب، الحقن غير المباشر، التلاعب بالأدوات، الوكيل، التهرب، حرمان الخدمة الاستدلالي، توليد الفيديو، روبوت VLA، سلسلة توريد LoRA، LLM سمعي أصلي، تحسين RAG، MCP عبر الخادم، وكيل الترميز، حدود التسلسل، وهجمات سلسلة توريد مهارات الوكيل على أنظمة الذكاء الاصطناعي. عينات الهجوم والعينات الحميدة متوازنة بنسبة 1:1 (نسبة 0.9992:1 بعد تنظيف التدقيق).

مصمم لتدريب وتقييم أجهزة كشف حقن الأوامر. جميع العينات مُوسومة (expected_detection: true/false)، ومُنسوبة المصدر إلى أوراق مُحكّمة أو أبحاث صناعية موثقة، ومُنظمة للاستخدام المباشر في المصنفات الثنائية.

---

تحميل مجموعة البيانات

الحمولات هي JSON عادي. قم بتحميلها مباشرة باستخدام المكتبة القياسية للغتك — لا تبعيات:```python import json, pathlib records = [] for p in pathlib.Path("payloads_v5").glob("*.json"): records.extend(json.loads(p.read_text())) print(f"{len(records)} labeled samples")

يحمل كل سجل `expected_detection: true|false`، وسلسلة `attack_category`، وحقل `source` يشير إلى الورقة الأصلية أو الحادث الموثق. هذا كافٍ لتدريب مصنف ثنائي، أو تشغيل ASR حسب الفئة، أو التقسيم حسب ناقل الهجوم.

---

## المنهجية

### ما يغطيه هذا المقياس

يُعرَّف **حقن التعليمات** هنا على أنه: *نص مضمن في مدخلات LLM يهدف إلى تجاوز سلوك النموذج أو اختطافه أو إعادة توجيهه بعيدًا عن المهمة المحددة من قبل المشغل*. يتبع هذا التعريف Greshake et al. 2023 (arXiv:2302.12173) و OWASP LLM01:2025.

النطاق هو **حقن وقت التشغيل فقط** — النص الذي يمكن للمهاجم وضعه في نافذة سياق النموذج في وقت الاستدلال. يستبعد المقياس عمدًا:

- هجمات وقت التدريب (تسميم البيانات، العوامل الخاملة، الضبط الدقيق الخلفي)
- هجمات استخراج النموذج بدون مكون حقن
- الاختراقات النقية التي تطلب توليدًا ضارًا دون اختطاف مهمة LLM محددة (مثل "أخبرني كيف أصنع قنبلة" مصاغة بدون أي إطار تجاوز)
- الهندسة الاجتماعية العامة التي لا تستهدف LLM

التمييز مهم للكشف: قارئ وقت التشغيل يقرأ التعليمات، وليس أوزان النموذج. الهجمات التي تؤثر فقط على التدريب خارجة عن النطاق.

### طريقة البناء

تم بناء المقياس في أربع طبقات:

**الطبقة 1 — البذور الأساسية (مصنوعة يدويًا، 210 + 187 + 284 بذرة):** تمت كتابة بذور الحقن لكل فئة هجوم يدويًا، بناءً على أوراق محكَّمة وحوادث حقيقية موثقة. كل بذرة مُوسومة بمصدرها الأكاديمي ومرجع الهجوم. تمت مراجعة البذور وفقًا لتعريف الإدراج أعلاه — أي بذرة يمكن إعادة قراءتها كطلب غير ضار بدون مكون تجاوز تم التخلص منها أو إعادة كتابتها.

**الطبقة 2 — التوسيع البرمجي عبر القوالب والتشفير (v2، 14,358 عينة):** تم تمرير البذور عبر 162 قالب اختراق PyRIT v0.12.1 و 13 محول تشفير. التوسيع القالبي محدد بالكامل وقابل للتكرار من نص المولد. تم سحب لاحقات GCG العدائية من الأدبيات المنشورة (Zou et al. 2023) وإلحاقها بالبذور؛ تحسين التدرج المباشر اختياري ويتطلب GPU.

**الطبقة 3 — التسليم عبر الوسائط (v1 + v4 عبر الوسائط، 35,687 عينة):** تم تسليم بذور الحقن عبر 7 طرق صور، و 4 أنواع مستندات × 5 مواقع إخفاء، و 6 طرق صوت، ومجموعات متعددة الوسائط. يتبع هذا نموذج التهديد في FigStep (arXiv:2311.05608) و CrossInject (arXiv:2504.14348): قد يصل نص الحقن في أي وسيط يعالجه خط الأنابيب، وليس فقط حقل النص. تسجل حقول الوسائط (`image_content`، `doc_content`، `audio_content`) ما سيقرأه مستخرج النموذج من تلك القناة.

**الطبقة 4 — العينات غير الضارة (50,516 إجمالاً):** تم سحب التعليمات غير الضارة من مجموعات بيانات أكاديمية وصناعية منشورة (Stanford Alpaca، WildChat، deepset/prompt-injections، LMSYS Chatbot Arena). العينات غير الضارة متعددة الوسائط تقترن هذه التعليمات النصية بتعليقات صور حقيقية (MS-COCO 2017، Flickr30k)، ومقاطع من المستندات (Wikipedia EN، arXiv عبر RedPajama)، ونصوص صوتية (LibriSpeech، Mozilla Common Voice). مجموعة من 130 حالة حافة مصنوعة يدويًا تستخدم مفردات قريبة من الهجوم ("تجاهل"، "تجاوز"، "تعليمات النظام"، "كلمة المرور") في سياقات غير ضارة حقًا لتقليل التدريب الإيجابي الخاطئ.

**الطبقة 5 — تقسيم التحقق من العالم الحقيقي (13,230 عينة):** الطبقات 1-4 مبنية: مكتوبة يدويًا، أو مبنية على قوالب، أو مسحوبة من مجموعات بيانات أخرى. الطبقة 5 ليست كذلك. تم جمعها من لعبة حية حيث حصل اللاعبون على نقاط للتغلب على كاشف منشور، مرتبة عبر مراحل "قلعة" على مستوى الزعيم وتمريرات "شبح" متعددة الوسائط. تم تسجيل كل تجاوز ناجح ومحاولة، ثم إخفاء الهوية (تمت إزالة المعرفات وبيانات الدفع على مستوى الجدول، وتم تنقيح PII في النص، وتم عزل الصفوف عالية المخاطر للمراجعة اليدوية بدلاً من النشر) وتم إصدارها كـ [`payloads_live/`](https://github.com/josh-blythe/bordair-multimodal/blob/main/payloads_live). حيث تقيس الطبقات 1-4 التغطية مقابل فئات الهجوم المعروفة، تقيس الطبقة 5 ما إذا كان الكاشف يصمد أمام إنسان متحمس يحاول بنشاط اختراقه. انظر [`payloads_live/README.md`](https://github.com/josh-blythe/bordair-multimodal/blob/main/payloads_live/README.md) لمنهجية إخفاء الهوية الكاملة.

### تخصيص التسمية

جميع حمولات الهجوم: `expected_detection: true`  
جميع العينات غير الضارة: `expected_detection: false`

يتم تخصيص التسميات عن طريق البناء، وليس عن طريق المراجعة البشرية للعينات الفردية. وبالتالي فإن ضمان الصحة يكون على **مستوى الفئة**: كل فئة تتوافق مع فئة هجوم موثقة بآلية محددة. ترث العينات الفردية التسمية من البذرة والفئة التي تم إنشاؤها منها.

لا يوجد ضوضاء تسمية عدوانية مضافة عمدًا. من المتوقع أن يتعلم الكاشف نمط الحقن، وليس التمييز بين الحقن "الحقيقية" و "المزيفة" — جميع العينات في مجموعة الهجوم تمثل سلاسل هجوم حقيقية أو محتملة.

### مخاطر الإيجابية الخاطئة للعينات غير الضارة

تم تصميم مجموعة الحالات الحافة غير الضارة لتقليل الإيجابيات الخاطئة على اللغة القريبة من الأمن. تغطي 10 مجموعات مفردات: `ignore`، `override`، `system prompt`، `password`، `instructions`، `jailbreak` (بمعنى iPhone)، `bypass surgery`، `XSS` (كموضوع أمني، وليس هجومًا)، `prompt` (كما في مصراع الكاميرا)، و `inject` (كما في حقن التبعية / الطبي). الكاشف الذي يحقق دقة عالية على مجموعة البيانات الكاملة ولكن دقة منخفضة على مجموعة الحالات الحافة هو overfitting لمطابقة الكلمات الرئيسية السطحية.

### تدقيق مجموعة البيانات

تم تدقيق مجموعة البيانات الكاملة لصحة التسمية والتلوث. يتحقق التدقيق من:

1. جميع عينات الهجوم لها `expected_detection: true`
2. جميع العينات غير الضارة لها `expected_detection: false`
3. العينات غير الضارة لا تحتوي على أنماط حقن (مثل "تجاهل التعليمات السابقة"، "اكشف تعليمات النظام الخاصة بك"، عناوين URL للاستخراج، رموز `<|im_start|>`)
4. لا توجد مفاتيح API حقيقية أو بيانات اعتماد في أي عينة (مفاتيح OpenAI sk-، مفاتيح AWS AKIA، PATs GitHub، إلخ.)
5. الحقول المطلوبة (`id`، `text`، `expected_detection`، `modalities`) موجودة في كل عينة
6. لا توجد معرفات مكررة داخل الفئات

نتائج التدقيق:
- **تمت إزالة 221 عينة غير ضارة** تحتوي على أنماط حقن (مسربة من WildChat/UltraChat)
- **تمت إزالة عينتين هجوم** تحتويان على مفاتيح OpenAI API حقيقية (من LLMail-Inject المرحلة 1)
- **صفر أنماط حقن متبقية في البيانات غير الضارة**
- **صفر أسرار حقيقية في أي عينة**

الأعلام المتبقية للتدقيق (متعمدة، وليست أخطاء):
- `EMPTY_TEXT` (5,138 عينة): هجمات عبر الوسائط (v1، v4 عبر الوسائط) حيث يكون الحقن في حقول الصورة/المستند/الصوت، مع حقل النص فارغًا أو غير ضار عمدًا. هذا هو نموذج التهديد عبر الوسائط.
- `POSSIBLY_BENIGN_ATTACK` (1,359 عينة): تعليمات T2VSafetyBench قصيرة تبدو غير ضارة بمعزل عن الآخر ولكنها تطلب توليد فيديو غير آمن في السياق.

### مراقبة الجودة