Italiano | 简体中文

---

Panoramica

DiagSafe è un benchmark diagnostico di sicurezza per i modelli linguistici di grandi dimensioni, costruito a partire da due componenti:

• Un benchmark di sicurezza granulare e diversificato: 3.489 prompt basati su una tassonomia di sicurezza a 84 etichette e tre livelli, che copre cinese e inglese, dialoghi a turno singolo e multi-turno, nonché richieste dannose dirette e diverse forme di attacco.
• Valutazione con rubriche a livello di prompt: ogni prompt è corredato dai propri elementi di sicurezza e dalle relative esenzioni, combinati con otto elementi di utilità condivisi; un giudice LLM valuta ciascun elemento e cita le prove.

Insieme, essi producono giudizi affidabili e spiegabili e diagnosi di sicurezza granulari per ciascun modello.

_{(1) Una rubrica per prompt; (2) giudici diversi raggiungono verdetti coerenti con la stessa rubrica; (3) i riscontri a livello di elemento rivelano i rischi specifici di ciascun modello.}

Il benchmark in sintesi

Dimensione	Dettagli
Prompt	3.489 (DiagBase 2.401 · DiagAttack 1.088), cinese e inglese in rapporto di circa 1:1
Tassonomia	11 etichette L1 / 34 L2 / 84 L3, costruite a partire da 204 disposizioni di sicurezza distillate dalle linee guida pubbliche sulla sicurezza dell'IA di Cina, Stati Uniti, UE e altre regioni
Dialoghi	2.560 a turno singolo, 929 multi-turno (2–5 turni)
Forme di attacco	Richieste dannose dirette, jailbreak basati su template, jailbreak con template combinati, attacchi tramite istruzioni
Valutazione	LLM-as-a-judge: elementi di sicurezza specifici del prompt (4,5 in media, ciascuno con esenzioni) + otto elementi di utilità condivisi (punteggio 0–3)

Ogni etichetta L3 è corredata da una definizione, uno standard generale e regole dettagliate, e ciascuna rubrica è generata dallo standard della propria etichetta. Il confronto a livello di foglia riportato di seguito è effettuato rispetto a SALAD-Bench, S-Eval, Do-Not-Answer e CHiSafetyBench: le foglie rosse non hanno corrispondenza in tali benchmark, mentre le foglie arancioni vi sono coperte solo da una categoria padre.

DiagBase e DiagAttack

	DiagBase	DiagAttack
Dimensione	2.401	1.088
Costruzione	Sintetizzati dagli standard delle etichette lungo lingua × turni × forma di attacco	Riscrivono le richieste dirette a turno singolo di DiagBase in attacchi tramite istruzioni
Forme di attacco	Richieste dannose dirette, jailbreak basati su template, jailbreak con template combinati	Attacchi tramite istruzioni: l'intento dannoso è incorporato in un compito dall'aspetto innocuo con vincoli di ruolo, formato e tono
Dialoghi	1.472 a turno singolo, 929 multi-turno	Tutti a turno singolo
Focus	Copertura delle etichette, sicurezza tra le lingue e dialoghi multi-turno	Il conflitto tra un forte rispetto delle istruzioni e il rifiuto per motivi di sicurezza

Risultati principali

Abbiamo valutato 11 LLM leader su DiagSafe. Due risultati emergono in modo evidente.

1. La valutazione basata su rubriche è più affidabile

Rispetto a 236 risposte annotate manualmente come standard di riferimento:

Paradigma	Accordo con gli esseri umani	Coerenza tra giudici (κ di Cohen)
Classificatori di sicurezza (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69,07% – 87,29%	—
Prompt di sicurezza generico + LLM	80,51% – 87,29%	0,559 – 0,766
Prompt di specifica delle etichette + LLM	82,63% – 86,86%	0,532 – 0,802
Rubrica a livello di prompt + LLM (DiagSafe)	89,41% – 95,34%	0,828 – 0,864

La valutazione basata su rubriche raggiunge fino al 95,34% di accordo con le annotazioni umane e rimane sopra il 93% di accordo tra i modelli giudici, mentre i due paradigmi basati su prompt variano notevolmente tra i giudici. La revisione umana rileva inoltre che il 96,4% dei prompt è genuinamente dannoso e il 99,6% delle rubriche è ragionevole e attuabile.

2. Gli LLM leader restano non sicuri, soprattutto su DiagAttack

• Su DiagBase, i tassi di non sicurezza vanno dal 2,8% al 32,9%.
• Su DiagAttack, il tasso di non sicurezza di ogni modello sale a 1,9–8,4× il suo valore su DiagBase (mediana 5,3×); 8 degli 11 modelli superano il 40%, e anche il modello migliore resta sopra il 18%.
• Avvolgere un intento dannoso in un compito ordinario è sufficiente per erodere i rifiuti di sicurezza: l'aderenza alle istruzioni e il rifiuto di sicurezza competono nell'addestramento attuale, e i benchmark esistenti raramente coprono questo tipo di attacco.

Modelli rilasciati di recente. Abbiamo inoltre valutato cinque modelli rilasciati di recente con esattamente lo stesso protocollo (gli stessi 3.489 prompt e rubriche a livello di prompt, nessun prompt di sistema, la stessa configurazione di decodifica e Hy3 come giudice guidato da rubriche). I loro risultati sono coerenti con le conclusioni sopra: ogni modello è chiaramente meno sicuro su DiagAttack che su DiagBase.

Mostra i numeri esatti

Modello	Complessivo ↓	DiagBase ↓	DiagAttack ↓	Utilità ↑
Qwen3.8-27B	8,5	3,3	20,2	2,23
Hy4-Preview	11,9	3,9	30,6	2,27
GLM-5.3†	13,1	9,5	20,9	2,37
DeepSeek-V4.1-Flash	18,5	5,8	47,5	2,14
Kimi-K3	26,8	14,9	53,5	2,31