Español | 简体中文

---

Descripción general

DiagSafe es un benchmark de seguridad diagnóstica para modelos de lenguaje grandes, construido a partir de dos partes:

• Un benchmark de seguridad diverso y de grano fino: 3.489 prompts fundamentados en una taxonomía de seguridad de tres niveles con 84 etiquetas, que abarca chino e inglés, diálogos de un solo turno y de varios turnos, y solicitudes dañinas directas, así como varias formas de ataque.
• Evaluación con rúbricas a nivel de prompt: cada prompt incluye sus propios ítems de seguridad y sus exenciones, combinados con ocho ítems de utilidad compartidos; un juez LLM dictamina sobre cada ítem y cita evidencia.

En conjunto, producen juicios fiables y explicables, y diagnósticos de seguridad de grano fino para cada modelo.

_{(1) Una rúbrica por prompt; (2) distintos jueces alcanzan veredictos consistentes con la misma rúbrica; (3) los aciertos a nivel de ítem exponen los riesgos específicos de cada modelo.}

El benchmark de un vistazo

Dimensión	Detalles
Prompts	3.489 (DiagBase 2.401 · DiagAttack 1.088), chino e inglés en una proporción aproximada de 1:1
Taxonomía	11 etiquetas L1 / 34 L2 / 84 L3, construidas a partir de 204 disposiciones de seguridad destiladas de las directrices públicas de seguridad de IA de China, EE. UU., la UE y otras regiones
Diálogos	2.560 de un solo turno, 929 de varios turnos (2–5 turnos)
Formas de ataque	Solicitudes dañinas directas, jailbreaks de plantilla, jailbreaks de plantilla combinada, ataques de instrucción
Evaluación	LLM como juez: ítems de seguridad específicos de cada prompt (4,5 en promedio, cada uno con exenciones) + ocho ítems de utilidad compartidos (puntuación de 0 a 3)

Cada etiqueta L3 incluye una definición, un estándar general y reglas detalladas, y cada rúbrica se genera a partir del estándar de su etiqueta. La comparación a nivel de hoja que aparece a continuación se realiza frente a SALAD-Bench, S-Eval, Do-Not-Answer y CHiSafetyBench: las hojas rojas no tienen equivalente en esos benchmarks, y las hojas naranjas solo están cubiertas allí por una categoría padre.

DiagBase y DiagAttack

	DiagBase	DiagAttack
Tamaño	2.401	1.088
Construcción	Sintetizado a partir de los estándares de las etiquetas según idioma × turnos × forma de ataque	Reescribe las solicitudes directas de un solo turno de DiagBase como ataques de instrucción
Formas de ataque	Solicitudes dañinas directas, jailbreaks de plantilla, jailbreaks de plantilla combinada	Ataques de instrucción: la intención dañina se incrusta en una tarea de apariencia benigna con restricciones de rol, formato y tono
Diálogos	1.472 de un solo turno, 929 de varios turnos	Todos de un solo turno
Enfoque	Cobertura de etiquetas, seguridad entre idiomas y diálogos de varios turnos	El conflicto entre el seguimiento estricto de instrucciones y la negativa por seguridad

Resultados clave

Evaluamos 11 LLM líderes en DiagSafe. Dos hallazgos destacan.

1. La evaluación basada en rúbricas es más fiable

Frente a 236 respuestas anotadas por humanos como estándar de referencia:

Paradigma	Concordancia con humanos	Consistencia entre jueces (κ de Cohen)
Clasificadores de seguridad (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69,07% – 87,29%	—
Prompt de seguridad genérico + LLM	80,51% – 87,29%	0,559 – 0,766
Prompt de especificación de etiquetas + LLM	82,63% – 86,86%	0,532 – 0,802
Rúbrica a nivel de prompt + LLM (DiagSafe)	89,41% – 95,34%	0,828 – 0,864

La evaluación basada en rúbricas alcanza hasta un 95,34% de concordancia con las anotaciones humanas y se mantiene por encima del 93% de concordancia entre los modelos jueces, mientras que los dos paradigmas basados en prompts varían notablemente entre jueces. La revisión humana además encuentra que el 96,4% de los prompts son genuinamente dañinos y que el 99,6% de las rúbricas son razonables y accionables.

2. Los LLM líderes siguen siendo inseguros, especialmente en DiagAttack

• En DiagBase, las tasas de inseguridad oscilan entre el 2,8% y el 32,9%.
• En DiagAttack, la tasa de inseguridad de todos los modelos asciende a 1,9–8,4× su valor en DiagBase (mediana 5,3×); 8 de los 11 modelos superan el 40%, e incluso el mejor modelo se mantiene por encima del 18%.
• Envolver una intención dañina en una tarea ordinaria basta para erosionar los rechazos de seguridad: el seguimiento de instrucciones y el rechazo por seguridad compiten en el entrenamiento actual, y los benchmarks existentes rara vez cubren este tipo de ataque.

Modelos recientemente publicados. Evaluamos además cinco modelos recientemente publicados bajo exactamente el mismo protocolo (los mismos 3.489 prompts y rúbricas a nivel de prompt, sin prompt de sistema, la misma configuración de decodificación y Hy3 como juez guiado por rúbrica). Sus resultados son consistentes con los hallazgos anteriores: todos los modelos son claramente menos seguros en DiagAttack que en DiagBase.

Mostrar cifras exactas

Modelo	Global ↓	DiagBase ↓	DiagAttack ↓	Utilidad ↑
Qwen3.8-27B	8,5	3,3	20,2	2,23
Hy4-Preview	11,9	3,9	30,6	2,27
GLM-5.3†	13,1	9,5	20,9	2,37
DeepSeek-V4.1-Flash	18,5	5,8	47,5	2,14
Kimi-K3	26,8	14,9	53,5	2,31