العربية | 简体中文

---

نظرة عامة

DiagSafe هو معيار تقييم تشخيصي للسلامة مخصص لنماذج اللغة الكبيرة، ويتكوّن من جزأين:

• معيار سلامة متنوّع ودقيق التفصيل: 3,489 موجّهًا مبنيًا على تصنيف سلامة من 84 تسمية وثلاثة مستويات، يغطي اللغتين الصينية والإنجليزية، والمحادثات أحادية الدور ومتعددة الأدوار، والطلبات الضارة المباشرة إضافةً إلى عدة أشكال من الهجمات.
• تقييم بمعايير على مستوى الموجّه: يأتي كل موجّه مع بنود السلامة الخاصة به وإعفاءاتها، مقترنةً بثمانية بنود مشتركة للفائدة؛ ويحكم قاضٍ من نماذج اللغة الكبيرة على كل بند ويستشهد بالأدلة.

ويُنتِج الاثنان معًا أحكامًا موثوقة وقابلة للتفسير وتشخيصات سلامة دقيقة التفصيل لكل نموذج.

_{(1) معيار واحد لكل موجّه؛ (2) يصل القضاة المختلفون إلى أحكام متسقة باستخدام المعيار نفسه؛ (3) تكشف الإصابات على مستوى البند عن المخاطر المحددة لكل نموذج.}

المعيار في لمحة

البُعد	التفاصيل
الموجّهات	3,489 (DiagBase 2,401 · DiagAttack 1,088)، بالصينية والإنجليزية بنسبة تقارب 1:1
التصنيف	11 تسمية L1 / 34 L2 / 84 L3، مبنية من 204 أحكام سلامة مستخلصة من إرشادات السلامة العامة للذكاء الاصطناعي في الصين والولايات المتحدة والاتحاد الأوروبي ومناطق أخرى
المحادثات	2,560 أحادية الدور، 929 متعددة الأدوار (2–5 أدوار)
أشكال الهجمات	طلبات ضارة مباشرة، اختراقات قوالب، اختراقات قوالب مركّبة، هجمات تعليمات
التقييم	نموذج لغة كبير كقاضٍ: بنود سلامة خاصة بكل موجّه (4.5 في المتوسط، ولكل منها إعفاءات) + ثمانية بنود مشتركة للفائدة (درجة من 0 إلى 3)

تحمل كل تسمية L3 تعريفًا ومعيارًا عامًا وقواعد مفصّلة، ويُولَّد كل معيار من معيار تسميته. والمقارنة على مستوى الأوراق أدناه هي مقابل SALAD-Bench وS-Eval وDo-Not-Answer وCHiSafetyBench: الأوراق الحمراء ليس لها نظير في تلك المعايير، والأوراق البرتقالية مغطاة هناك بفئة أب فقط.

DiagBase وDiagAttack

	DiagBase	DiagAttack
الحجم	2,401	1,088
البناء	مُصنَّع من معايير التسميات عبر اللغة × الأدوار × شكل الهجوم	يعيد صياغة الطلبات المباشرة أحادية الدور في DiagBase إلى هجمات تعليمات
أشكال الهجمات	طلبات ضارة مباشرة، اختراقات قوالب، اختراقات قوالب مركّبة	هجمات تعليمات: تُدمَج النية الضارة في مهمة تبدو حميدة مع قيود على الدور والتنسيق والنبرة
المحادثات	1,472 أحادية الدور، 929 متعددة الأدوار	جميعها أحادية الدور
التركيز	تغطية التسميات، والسلامة عبر اللغات والمحادثات متعددة الأدوار	التعارض بين اتباع التعليمات القوي والرفض لأسباب السلامة

النتائج الرئيسية

قيّمنا 11 من نماذج اللغة الكبيرة الرائدة على DiagSafe. وتبرز نتيجتان.

1. التقييم القائم على المعايير أكثر موثوقية

مقابل 236 استجابة مُعلَّمة بشريًا كمعيار ذهبي:

النموذج	التوافق مع البشر	اتساق الحكام المتقاطع (Cohen's κ)
مصنّفات السلامة (MD-Judge، LlamaGuard4، S-Eval، Qwen3Guard)	69.07% – 87.29%	—
موجّه سلامة عام + LLM	80.51% – 87.29%	0.559 – 0.766
موجّه مواصفات التصنيف + LLM	82.63% – 86.86%	0.532 – 0.802
معيار تقييم على مستوى الموجّه + LLM (DiagSafe)	89.41% – 95.34%	0.828 – 0.864

يصل التقييم القائم على المعايير إلى توافق يبلغ 95.34% مع التعليقات البشرية ويبقى فوق 93% من التوافق عبر نماذج الحكام، بينما يتفاوت النموذجان القائمان على الموجّه بشكل ملحوظ بين الحكام. ويكشف المراجعة البشرية كذلك أن 96.4% من الموجّهات ضارة فعليًا وأن 99.6% من المعايير معقولة وقابلة للتنفيذ.

2. لا تزال النماذج اللغوية الكبيرة الرائدة غير آمنة، لا سيما في DiagAttack

• على DiagBase، تتراوح معدلات عدم الأمان من 2.8% إلى 32.9%.
• على DiagAttack، يرتفع معدل عدم الأمان لدى كل نموذج إلى 1.9–8.4× قيمته على DiagBase (الوسيط 5.3×)؛ 8 من أصل 11 نموذجًا تتجاوز 40%، وحتى أفضل نموذج يبقى فوق 18%.
• يكفي تغليف نية ضارة داخل مهمة عادية لتقويض رفض السلامة: فاتباع التعليمات ورفض السلامة يتنافسان في التدريب الحالي، ونادرًا ما تغطي المعايير الحالية هذا النوع من الهجمات.

النماذج الصادرة حديثًا. قيّمنا كذلك خمسة نماذج صادرة حديثًا وفق البروتوكول نفسه تمامًا (نفس الموجّهات البالغ عددها 3,489 ومعايير التقييم على مستوى الموجّه، دون موجّه نظام، ونفس إعدادات فك التشفير، وHy3 كحكم موجَّه بالمعايير). وتتوافق نتائجها مع النتائج أعلاه: فكل نموذج أقل أمانًا بوضوح على DiagAttack منه على DiagBase.

عرض الأرقام الدقيقة

النموذج	الإجمالي ↓	DiagBase ↓	DiagAttack ↓	الفائدة ↑
Qwen3.8-27B	8.5	3.3	20.2	2.23
Hy4-Preview	11.9	3.9	30.6	2.27
GLM-5.3†	13.1	9.5	20.9	2.37
DeepSeek-V4.1-Flash	18.5	5.8	47.5	2.14
Kimi-K3	26.8	14.9	53.5	2.31

معدلات عدم الأمان بالنسب المئوية؛ والفائدة هي متوسط الدرجة (0–3). ^† لا يستطيع GLM-5.3 تعطيل وضع الاستدلال لديه، لذا يُقيَّم بإعداد جهد الاستدلال المنخفض؛ وجميع الإعدادات الأخرى متطابقة.

تشخيصات إضافية

تكشف الأحكام على مستوى العنصر أيضًا عن فروق يخفيها معدل عدم الأمان الإجمالي. يسارًا: كل نموذج على مستوى السلامة–الفائدة عبر أبعاد L1 الأحد عشر. يمينًا: ثلاثة نماذج بمعدلات عدم أمان إجمالية شبه متطابقة تتباين بشكل حاد على مستوى الفئة.

تكون النماذج عمومًا أكثر عرضة للخطر في اللغة الصينية وفي الحوارات متعددة الأدوار، ويستمر معدل عدم الأمان لكل دور في الارتفاع مع تقدم المحادثة: