English | 简体中文

---

Visão Geral

DiagSafe é um benchmark de segurança diagnóstica para grandes modelos de linguagem, construído a partir de duas partes:

• Um benchmark de segurança diversificado e de granularidade fina: 3.489 prompts fundamentados em uma taxonomia de segurança de três níveis com 84 rótulos, cobrindo chinês e inglês, diálogos de turno único e de múltiplos turnos, e solicitações diretamente prejudiciais, bem como diversas formas de ataque.
• Avaliação por rubricas em nível de prompt: cada prompt vem com seus próprios itens de segurança e suas isenções, combinados com oito itens de utilidade compartilhados; um juiz LLM decide sobre cada item e cita evidências.

Juntos, eles produzem julgamentos confiáveis e explicáveis e diagnósticos de segurança de granularidade fina para cada modelo.

_{(1) Uma rubrica por prompt; (2) juízes diferentes chegam a veredictos consistentes com a mesma rubrica; (3) os acertos em nível de item expõem os riscos específicos de cada modelo.}

O Benchmark em Resumo

Dimensão	Detalhes
Prompts	3.489 (DiagBase 2.401 · DiagAttack 1.088), chinês e inglês em proporção de aproximadamente 1:1
Taxonomia	11 rótulos L1 / 34 L2 / 84 L3, construídos a partir de 204 disposições de segurança destiladas de diretrizes públicas de segurança de IA da China, dos EUA, da UE e de outras regiões
Diálogos	2.560 de turno único, 929 de múltiplos turnos (2–5 turnos)
Formas de ataque	Solicitações diretamente prejudiciais, jailbreaks por template, jailbreaks por template combinado, ataques por instrução
Avaliação	LLM-as-a-judge: itens de segurança específicos do prompt (4,5 em média, cada um com isenções) + oito itens de utilidade compartilhados (pontuação de 0–3)

Cada rótulo L3 possui uma definição, um padrão geral e regras detalhadas, e cada rubrica é gerada a partir do padrão de seu rótulo. A comparação em nível de folha abaixo é feita com o SALAD-Bench, S-Eval, Do-Not-Answer e CHiSafetyBench: folhas vermelhas não têm equivalente nesses benchmarks, e folhas laranja são cobertas neles apenas por uma categoria pai.

DiagBase e DiagAttack

	DiagBase	DiagAttack
Tamanho	2.401	1.088
Construção	Sintetizado a partir dos padrões dos rótulos ao longo de idioma × turnos × forma de ataque	Reescreve as solicitações diretas de turno único do DiagBase em ataques por instrução
Formas de ataque	Solicitações diretamente prejudiciais, jailbreaks por template, jailbreaks por template combinado	Ataques por instrução: a intenção prejudicial é embutida em uma tarefa de aparência benigna com restrições de papel, formato e tom
Diálogos	1.472 de turno único, 929 de múltiplos turnos	Todos de turno único
Foco	Cobertura de rótulos, segurança entre idiomas e diálogos de múltiplos turnos	O conflito entre o forte seguimento de instruções e a recusa de segurança

Principais Resultados

Avaliamos 11 LLMs líderes no DiagSafe. Dois achados se destacam.

1. A avaliação baseada em rubricas é mais confiável

Tendo 236 respostas anotadas por humanos como padrão-ouro:

Paradigma	Concordância com humanos	Consistência entre juízes (κ de Cohen)
Classificadores de segurança (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69,07% – 87,29%	—
Prompt genérico de segurança + LLM	80,51% – 87,29%	0,559 – 0,766
Prompt de especificação de rótulos + LLM	82,63% – 86,86%	0,532 – 0,802
Rubrica em nível de prompt + LLM (DiagSafe)	89,41% – 95,34%	0,828 – 0,864

A avaliação baseada em rubricas atinge até 95,34% de concordância com anotações humanas e mantém-se acima de 93% de concordância entre os modelos juízes, enquanto os dois paradigmas baseados em prompts variam acentuadamente entre juízes. A revisão humana constata ainda que 96,4% dos prompts são genuinamente prejudiciais e 99,6% das rubricas são razoáveis e acionáveis.

2. Os principais LLMs continuam inseguros, especialmente no DiagAttack

• No DiagBase, as taxas de insegurança variam de 2,8% a 32,9%.
• No DiagAttack, a taxa de insegurança de todos os modelos sobe para 1,9–8,4× o seu valor no DiagBase (mediana 5,3×); 8 dos 11 modelos ultrapassam 40%, e mesmo o melhor modelo permanece acima de 18%.
• Envolver uma intenção prejudicial numa tarefa comum é suficiente para erodir as recusas de segurança: o seguimento de instruções e a recusa de segurança competem no treino atual, e os benchmarks existentes raramente cobrem este tipo de ataque.

Modelos lançados recentemente. Avaliámos ainda cinco modelos lançados recentemente com exatamente o mesmo protocolo (os mesmos 3.489 prompts e rubricas em nível de prompt, sem prompt de sistema, a mesma configuração de descodificação e o Hy3 como juiz guiado por rubricas). Os seus resultados são consistentes com as conclusões acima: todos os modelos são claramente menos seguros no DiagAttack do que no DiagBase.

Mostrar números exatos

Modelo	Global ↓	DiagBase ↓	DiagAttack ↓	Utilidade ↑
Qwen3.8-27B	8,5	3,3	20,2	2,23
Hy4-Preview	11,9	3,9	30,6	2,27
GLM-5.3†	13,1	9,5	20,9	2,37
DeepSeek-V4.1-Flash	18,5	5,8	47,5	2,14
Kimi-K3	26,8	14,9	53,5	2,31

As taxas de insegurança estão em %; a utilidade é a pontuação média (0–3). ^† O GLM-5.3 não consegue desativar o seu modo de raciocínio, pelo que é avaliado com a definição de esforço de raciocínio baixo; todas as outras definições são idênticas.

Mais diagnósticos