Deutsch | 简体中文

---

Überblick

DiagSafe ist ein diagnostischer Sicherheits-Benchmark für große Sprachmodelle, der aus zwei Teilen besteht:

• Ein feingranularer, vielfältiger Sicherheits-Benchmark: 3.489 Prompts, basierend auf einer dreistufigen Sicherheitstaxonomie mit 84 Labels, die Chinesisch und Englisch, Einzel- und Mehrfachdialoge sowie direkte schädliche Anfragen und mehrere Angriffsformen abdeckt.
• Prompt-Level-Rubrikbewertung: Jeder Prompt enthält eigene Sicherheitskriterien und deren Ausnahmen, kombiniert mit acht gemeinsamen Nützlichkeitskriterien; ein LLM-Richter entscheidet über jedes Kriterium und zitiert Belege.

Zusammen liefern sie zuverlässige, erklärbare Urteile und feingranulare Sicherheitsdiagnosen für jedes Modell.

_{(1) Eine Rubrik pro Prompt; (2) verschiedene Richter erzielen mit derselben Rubrik konsistente Urteile; (3) Treffer auf Kriterienebene legen die spezifischen Risiken jedes Modells offen.}

Der Benchmark auf einen Blick

Dimension	Details
Prompts	3.489 (DiagBase 2.401 · DiagAttack 1.088), Chinesisch und Englisch im Verhältnis etwa 1:1
Taxonomie	11 L1- / 34 L2- / 84 L3-Labels, aufgebaut aus 204 Sicherheitsbestimmungen, die aus öffentlichen KI-Sicherheitsrichtlinien Chinas, der USA, der EU und anderer Regionen destilliert wurden
Dialoge	2.560 Einzeldialoge, 929 Mehrfachdialoge (2–5 Runden)
Angriffsformen	Direkte schädliche Anfragen, Template-Jailbreaks, kombinierte Template-Jailbreaks, Instruktionsangriffe
Bewertung	LLM-as-a-Judge: promptspezifische Sicherheitskriterien (durchschnittlich 4,5, jeweils mit Ausnahmen) + acht gemeinsame Nützlichkeitskriterien (Bewertung 0–3)

Jedes L3-Label enthält eine Definition, einen allgemeinen Standard und detaillierte Regeln, und jede Rubrik wird aus dem Standard ihres Labels generiert. Der Vergleich auf Blattebene unten erfolgt mit SALAD-Bench, S-Eval, Do-Not-Answer und CHiSafetyBench: Rote Blätter haben keine Entsprechung in diesen Benchmarks, und orange Blätter sind dort nur durch eine übergeordnete Kategorie abgedeckt.

DiagBase und DiagAttack

	DiagBase	DiagAttack
Umfang	2.401	1.088
Konstruktion	Synthetisiert aus den Label-Standards entlang Sprache × Runden × Angriffsform	Schreibt die direkten Einzelanfragen von DiagBase in Instruktionsangriffe um
Angriffsformen	Direkte schädliche Anfragen, Template-Jailbreaks, kombinierte Template-Jailbreaks	Instruktionsangriffe: Die schädliche Absicht wird in eine harmlos wirkende Aufgabe mit Rollen-, Format- und Tonvorgaben eingebettet
Dialoge	1.472 Einzeldialoge, 929 Mehrfachdialoge	Ausschließlich Einzeldialoge
Fokus	Label-Abdeckung, Sicherheit über Sprachen und Mehrfachdialoge hinweg	Der Konflikt zwischen starker Instruktionsbefolgung und Sicherheitsverweigerung

Zentrale Ergebnisse

Wir haben 11 führende LLMs auf DiagSafe evaluiert. Zwei Erkenntnisse stechen hervor.

1. Rubrikbasierte Bewertung ist zuverlässiger

Gemessen an 236 menschlich annotierten Antworten als Goldstandard:

Paradigma	Übereinstimmung mit Menschen	Konsistenz zwischen Richtern (Cohen's κ)
Sicherheitsklassifikatoren (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69,07 % – 87,29 %	—
Generischer Sicherheits-Prompt + LLM	80,51 % – 87,29 %	0,559 – 0,766
Label-Spezifikations-Prompt + LLM	82,63 % – 86,86 %	0,532 – 0,802
Prompt-Level-Rubrik + LLM (DiagSafe)	89,41 % – 95,34 %	0,828 – 0,864

Rubrikbasiertes Bewerten erreicht bis zu 95,34 % Übereinstimmung mit menschlichen Annotationen und bleibt über 93 % Übereinstimmung über die Richter-Modelle hinweg, während die beiden promptbasierten Paradigmen zwischen den Richtern deutlich variieren. Die menschliche Überprüfung ergibt zudem, dass 96,4 % der Prompts tatsächlich schädlich und 99,6 % der Rubriken angemessen und umsetzbar sind.

2. Führende LLMs bleiben unsicher, insbesondere bei DiagAttack

• Bei DiagBase reichen die unsicheren Raten von 2,8 % bis 32,9 %.
• Bei DiagAttack steigt die unsichere Rate jedes Modells auf das 1,9–8,4-Fache seines DiagBase-Werts (Median 5,3×); 8 der 11 Modelle überschreiten 40 %, und selbst das beste Modell bleibt über 18 %.
• Eine schädliche Absicht in eine gewöhnliche Aufgabe zu verpacken, genügt, um Sicherheitsverweigerungen auszuhöhlen: Instruktions- befolgung und Sicherheitsverweigerung konkurrieren im aktuellen Training, und bestehende Benchmarks decken diese Art von Angriff selten ab.

Kürzlich veröffentlichte Modelle. Wir haben zudem fünf kürzlich veröffentlichte Modelle unter exakt demselben Protokoll evaluiert (dieselben 3.489 Prompts und Prompt-Level-Rubriken, kein System-Prompt, dieselbe Decoding- Konfiguration und Hy3 als rubrikgeführter Richter). Ihre Ergebnisse stimmen mit den obigen Befunden überein: Jedes Modell ist bei DiagAttack deutlich weniger sicher als bei DiagBase.

Exakte Zahlen anzeigen

Modell	Gesamt ↓	DiagBase ↓	DiagAttack ↓	Nützlichkeit ↑
Qwen3.8-27B	8,5	3,3	20,2	2,23
Hy4-Preview	11,9	3,9	30,6	2,27
GLM-5.3†	13,1	9,5	20,9	2,37
DeepSeek-V4.1-Flash	18,5	5,8	47,5	2,14
Kimi-K3	26,8	14,9	53,5	2,31

Unsichere Raten sind in %; Nützlichkeit ist der Durchschnittswert (0–3). ^† GLM-5.3 kann seinen Reasoning-Modus nicht deaktivieren und wird daher mit der Einstellung für geringen Reasoning-Aufwand evaluiert; alle anderen Einstellungen sind identisch.

Weitere Diagnosen