अंग्रेज़ी | 简体中文

---

अवलोकन

DiagSafe बड़े भाषा मॉडलों के लिए एक नैदानिक सुरक्षा बेंचमार्क है, जो दो भागों से बना है:

• एक सूक्ष्म-कणिक, विविध सुरक्षा बेंचमार्क: 3,489 प्रॉम्प्ट, जो 84-लेबल, तीन-स्तरीय सुरक्षा वर्गीकरण पर आधारित हैं, जिनमें चीनी और अंग्रेज़ी, एकल- और बहु-टर्न संवाद, तथा सीधे हानिकारक अनुरोधों के साथ-साथ कई आक्रमण रूप शामिल हैं।
• प्रॉम्प्ट-स्तरीय रूब्रिक मूल्यांकन: प्रत्येक प्रॉम्प्ट के साथ उसके अपने सुरक्षा आइटम और उनके छूट (exemptions) आते हैं, जिन्हें आठ साझा उपयोगिता आइटम के साथ जोड़ा जाता है; एक LLM जज प्रत्येक आइटम पर निर्णय देता है और साक्ष्य उद्धृत करता है।

साथ मिलकर, ये विश्वसनीय, व्याख्यायोग्य निर्णय और प्रत्येक मॉडल का सूक्ष्म-कणिक सुरक्षा निदान प्रदान करते हैं।

_{(1) प्रत्येक प्रॉम्प्ट के लिए एक रूब्रिक; (2) विभिन्न जज एक ही रूब्रिक के साथ सुसंगत निर्णय तक पहुँचते हैं; (3) आइटम-स्तरीय हिट प्रत्येक मॉडल के विशिष्ट जोखिमों को उजागर करते हैं।}

एक नज़र में बेंचमार्क

आयाम	विवरण
प्रॉम्प्ट	3,489 (DiagBase 2,401 · DiagAttack 1,088), चीनी और अंग्रेज़ी लगभग 1:1 में
वर्गीकरण	11 L1 / 34 L2 / 84 L3 लेबल, चीन, अमेरिका, यूरोपीय संघ और अन्य क्षेत्रों के सार्वजनिक AI सुरक्षा दिशानिर्देशों से निकाले गए 204 सुरक्षा प्रावधानों पर आधारित
संवाद	2,560 एकल-टर्न, 929 बहु-टर्न (2–5 टर्न)
आक्रमण रूप	सीधे हानिकारक अनुरोध, टेम्पलेट जेलब्रेक, संयुक्त-टेम्पलेट जेलब्रेक, निर्देश आक्रमण
मूल्यांकन	LLM-as-a-judge: प्रॉम्प्ट-विशिष्ट सुरक्षा आइटम (औसतन 4.5, प्रत्येक में छूट सहित) + आठ साझा उपयोगिता आइटम (0–3 स्कोर)

प्रत्येक L3 लेबल में एक परिभाषा, एक सामान्य मानक और विस्तृत नियम होते हैं, और प्रत्येक रूब्रिक उसके लेबल के मानक से उत्पन्न होता है। नीचे दी गई लीफ-स्तरीय तुलना SALAD-Bench, S-Eval, Do-Not-Answer और CHiSafetyBench के विरुद्ध है: लाल पत्तियों का उन बेंचमार्क में कोई समकक्ष नहीं है, और नारंगी पत्तियाँ वहाँ केवल किसी मूल श्रेणी द्वारा कवर की जाती हैं।

DiagBase और DiagAttack

	DiagBase	DiagAttack
आकार	2,401	1,088
निर्माण	भाषा × टर्न × आक्रमण रूप के अनुसार लेबल मानकों से संश्लेषित	DiagBase के एकल-टर्न सीधे अनुरोधों को निर्देश आक्रमणों में पुनर्लिखित करता है
आक्रमण रूप	सीधे हानिकारक अनुरोध, टेम्पलेट जेलब्रेक, संयुक्त-टेम्पलेट जेलब्रेक	निर्देश आक्रमण: हानिकारक इरादे को भूमिका, प्रारूप और लहजे की बाधाओं वाले एक भला-दिखने वाले कार्य में एम्बेड किया जाता है
संवाद	1,472 एकल-टर्न, 929 बहु-टर्न	सभी एकल-टर्न
फोकस	लेबल कवरेज, भाषाओं और बहु-टर्न संवादों में सुरक्षा	मजबूत निर्देश-पालन और सुरक्षा-इनकार के बीच संघर्ष

प्रमुख परिणाम

हमने DiagSafe पर 11 अग्रणी LLM का मूल्यांकन किया। दो निष्कर्ष विशेष रूप से उभरकर आते हैं।

1. रूब्रिक-आधारित मूल्यांकन अधिक विश्वसनीय है

236 मानव-एनोटेटेड प्रतिक्रियाओं को स्वर्ण मानक के रूप में लेते हुए:

प्रतिमान	मनुष्यों के साथ सहमति	क्रॉस-जज स्थिरता (Cohen's κ)
सुरक्षा क्लासिफायर (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69.07% – 87.29%	—
सामान्य सुरक्षा प्रॉम्प्ट + LLM	80.51% – 87.29%	0.559 – 0.766
लेबल-विनिर्देश प्रॉम्प्ट + LLM	82.63% – 86.86%	0.532 – 0.802
प्रॉम्प्ट-स्तरीय रूब्रिक + LLM (DiagSafe)	89.41% – 95.34%	0.828 – 0.864

रूब्रिक-आधारित जजिंग मानव एनोटेशन के साथ 95.34% तक सहमति तक पहुँचती है और जज मॉडलों के बीच 93% से ऊपर बनी रहती है, जबकि दोनों प्रॉम्प्ट-आधारित प्रतिमान जजों के बीच स्पष्ट रूप से भिन्न होते हैं। मानव समीक्षा से आगे यह भी पता चलता है कि 96.4% प्रॉम्प्ट वास्तव में हानिकारक हैं और 99.6% रूब्रिक उचित एवं कार्रवाई-योग्य हैं।

2. अग्रणी LLM अभी भी असुरक्षित हैं, विशेष रूप से DiagAttack पर

• DiagBase पर, असुरक्षित दरें 2.8% से 32.9% तक होती हैं।
• DiagAttack पर, प्रत्येक मॉडल की असुरक्षित दर उसके DiagBase मान की 1.9–8.4× तक बढ़ जाती है (माध्यिका 5.3×); 11 में से 8 मॉडल 40% से अधिक हो जाते हैं, और सर्वश्रेष्ठ मॉडल भी 18% से ऊपर रहता है।
• किसी हानिकारक इरादे को साधारण कार्य में लपेटना सुरक्षा इनकारों को कमज़ोर करने के लिए पर्याप्त है: निर्देश-पालन और सुरक्षा इनकार वर्तमान प्रशिक्षण में प्रतिस्पर्धा करते हैं, और मौजूदा बेंचमार्क शायद ही कभी इस प्रकार के हमले को कवर करते हैं।

हाल ही में जारी मॉडल। हमने पाँच हाल ही में जारी मॉडलों का मूल्यांकन ठीक उसी प्रोटोकॉल के अंतर्गत आगे किया (वही 3,489 प्रॉम्प्ट और प्रॉम्प्ट-स्तरीय रूब्रिक, कोई सिस्टम प्रॉम्प्ट नहीं, वही डिकोडिंग कॉन्फ़िगरेशन, और रूब्रिक-निर्देशित जज के रूप में Hy3)। उनके परिणाम ऊपर के निष्कर्षों के अनुरूप हैं: प्रत्येक मॉडल DiagBase की तुलना में DiagAttack पर स्पष्ट रूप से कम सुरक्षित है।

सटीक संख्याएँ दिखाएँ

मॉडल	समग्र ↓	DiagBase ↓	DiagAttack ↓	उपयोगिता ↑
Qwen3.8-27B	8.5	3.3	20.2	2.23
Hy4-Preview	11.9	3.9	30.6	2.27
GLM-5.3†	13.1	9.5	20.9	2.37
DeepSeek-V4.1-Flash	18.5	5.8	47.5	2.14
Kimi-K3	26.8	14.9	53.5	2.31

असुरक्षित दरें % में हैं; उपयोगिता औसत स्कोर (0–3) है। ^† GLM-5.3 अपने रीज़निंग मोड को अक्षम नहीं कर सकता, इसलिए इसका मूल्यांकन कम रीज़निंग-प्रयास सेटिंग के साथ किया गया है; अन्य सभी सेटिंग्स समान हैं।

अधिक निदान

आइटम-स्तरीय निर्णय उन अंतरों को भी उजागर करते हैं जिन्हें समग्र असुरक्षित दर छिपा देती है। बाएँ: 11 L1 आयामों में सुरक्षा–उपयोगिता तल पर प्रत्येक मॉडल। दाएँ: लगभग समान समग्र असुरक्षित दर वाले तीन मॉडल श्रेणी स्तर पर तीव्र रूप से भिन्न होते हैं।