Français | 简体中文

---

Aperçu

DiagSafe est un benchmark diagnostique de sécurité pour les grands modèles de langage, construit à partir de deux parties :

• Un benchmark de sécurité diversifié et à granularité fine : 3 489 prompts fondés sur une taxonomie de sécurité à 84 étiquettes et trois niveaux, couvrant le chinois et l'anglais, les dialogues à un et plusieurs tours, ainsi que les demandes nuisibles directes et plusieurs formes d'attaque.
• Une évaluation par rubrique au niveau du prompt : chaque prompt est accompagné de ses propres items de sécurité et de leurs exemptions, combinés à huit items d'utilité partagés ; un juge LLM statue sur chaque item et cite les preuves.

Ensemble, ils produisent des jugements fiables et explicables ainsi que des diagnostics de sécurité à granularité fine pour chaque modèle.

_{(1) Une rubrique par prompt ; (2) différents juges parviennent à des verdicts cohérents avec la même rubrique ; (3) les correspondances au niveau des items révèlent les risques spécifiques de chaque modèle.}

Le benchmark en un coup d'œil

Dimension	Détails
Prompts	3 489 (DiagBase 2 401 · DiagAttack 1 088), chinois et anglais à environ 1:1
Taxonomie	11 étiquettes L1 / 34 L2 / 84 L3, construites à partir de 204 dispositions de sécurité distillées des lignes directrices publiques de sécurité de l'IA de la Chine, des États-Unis, de l'UE et d'autres régions
Dialogues	2 560 à un tour, 929 à plusieurs tours (2–5 tours)
Formes d'attaque	Demandes nuisibles directes, jailbreaks par template, jailbreaks par templates combinés, attaques par instructions
Évaluation	LLM-as-a-judge : items de sécurité spécifiques au prompt (4,5 en moyenne, chacun avec des exemptions) + huit items d'utilité partagés (score de 0 à 3)

Chaque étiquette L3 comporte une définition, une norme générale et des règles détaillées, et chaque rubrique est générée à partir de la norme de son étiquette. La comparaison au niveau des feuilles ci-dessous porte sur SALAD-Bench, S-Eval, Do-Not-Answer et CHiSafetyBench : les feuilles rouges n'ont pas d'équivalent dans ces benchmarks, et les feuilles orange n'y sont couvertes que par une catégorie parente.

DiagBase et DiagAttack

	DiagBase	DiagAttack
Taille	2 401	1 088
Construction	Synthétisés à partir des normes des étiquettes selon la langue × les tours × la forme d'attaque	Réécrit les demandes directes à un tour de DiagBase en attaques par instructions
Formes d'attaque	Demandes nuisibles directes, jailbreaks par template, jailbreaks par templates combinés	Attaques par instructions : l'intention nuisible est intégrée dans une tâche d'apparence bénigne avec des contraintes de rôle, de format et de ton
Dialogues	1 472 à un tour, 929 à plusieurs tours	Tous à un tour
Objectif	Couverture des étiquettes, sécurité selon les langues et les dialogues à plusieurs tours	Le conflit entre un fort suivi d'instructions et le refus de sécurité

Résultats clés

Nous avons évalué 11 LLM de premier plan sur DiagSafe. Deux constats se démarquent.

1. L'évaluation par rubrique est plus fiable

Face à 236 réponses annotées par des humains comme référence :

Paradigme	Concordance avec les humains	Cohérence inter-juges (κ de Cohen)
Classificateurs de sécurité (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69,07 % – 87,29 %	—
Prompt de sécurité générique + LLM	80,51 % – 87,29 %	0,559 – 0,766
Prompt de spécification de labels + LLM	82,63 % – 86,86 %	0,532 – 0,802
Rubrique au niveau du prompt + LLM (DiagSafe)	89,41 % – 95,34 %	0,828 – 0,864

Le jugement fondé sur des rubriques atteint jusqu'à 95,34 % de concordance avec les annotations humaines et reste au-dessus de 93 % de concordance entre les modèles juges, tandis que les deux paradigmes fondés sur des prompts varient nettement d'un juge à l'autre. L'examen humain révèle en outre que 96,4 % des prompts sont réellement nuisibles et que 99,6 % des rubriques sont raisonnables et exploitables.

2. Les principaux LLM restent dangereux, en particulier sur DiagAttack

• Sur DiagBase, les taux de dangerosité vont de 2,8 % à 32,9 %.
• Sur DiagAttack, le taux de dangerosité de chaque modèle grimpe à 1,9–8,4× sa valeur sur DiagBase (médiane 5,3×) ; 8 des 11 modèles dépassent 40 %, et même le meilleur modèle reste au-dessus de 18 %.
• Envelopper une intention nuisible dans une tâche ordinaire suffit à éroder les refus de sécurité : le suivi d'instructions et le refus de sécurité entrent en concurrence dans l'entraînement actuel, et les benchmarks existants couvrent rarement ce type d'attaque.

Modèles récemment publiés. Nous avons en outre évalué cinq modèles récemment publiés selon exactement le même protocole (les mêmes 3 489 prompts et rubriques au niveau du prompt, sans prompt système, la même configuration de décodage, et Hy3 comme juge guidé par rubrique). Leurs résultats sont cohérents avec les constats ci-dessus : chaque modèle est nettement moins sûr sur DiagAttack que sur DiagBase.

Afficher les chiffres exacts

Modèle	Global ↓	DiagBase ↓	DiagAttack ↓	Utilité ↑
Qwen3.8-27B	8,5	3,3	20,2	2,23
Hy4-Preview	11,9	3,9	30,6	2,27
GLM-5.3†	13,1	9,5	20,9	2,37
DeepSeek-V4.1-Flash	18,5	5,8	47,5	2,14
Kimi-K3	26,8	14,9	53,5	2,31