Английский | 简体中文

---

Обзор

DiagSafe — это диагностический бенчмарк безопасности для больших языковых моделей, состоящий из двух частей:

• Детализированный и разнообразный бенчмарк безопасности: 3 489 промптов, основанных на трёхуровневой таксономии безопасности из 84 меток, охватывающих китайский и английский языки, одно- и многоходовые диалоги, а также прямые вредоносные запросы и несколько форм атак.
• Оценка по рубрикам на уровне промпта: каждый промпт сопровождается собственными пунктами безопасности и их исключениями в сочетании с восемью общими пунктами полезности; LLM-судья выносит решение по каждому пункту и приводит доказательства.

Вместе они обеспечивают надёжные, объяснимые суждения и детализированную диагностику безопасности каждой модели.

_{(1) Одна рубрика на промпт; (2) разные судьи приходят к согласованным вердиктам с одной и той же рубрикой; (3) попадания на уровне пунктов выявляют конкретные риски каждой модели.}

Бенчмарк вкратце

Измерение	Детали
Промпты	3 489 (DiagBase 2 401 · DiagAttack 1 088), китайский и английский примерно в соотношении 1:1
Таксономия	11 меток L1 / 34 L2 / 84 L3, построенных на основе 204 положений о безопасности, извлечённых из публичных руководств по безопасности ИИ Китая, США, ЕС и других регионов
Диалоги	2 560 одноходовых, 929 многоходовых (2–5 ходов)
Формы атак	Прямые вредоносные запросы, шаблонные джейлбрейки, джейлбрейки с комбинированными шаблонами, инструкционные атаки
Оценка	LLM-as-a-judge: пункты безопасности, специфичные для промпта (в среднем 4,5, каждый с исключениями) + восемь общих пунктов полезности (оценка 0–3)

Каждая метка L3 имеет определение, общий стандарт и подробные правила, а каждая рубрика генерируется на основе стандарта своей метки. Сравнение на уровне листьев ниже проводится с SALAD-Bench, S-Eval, Do-Not-Answer и CHiSafetyBench: красные листья не имеют аналогов в этих бенчмарках, а оранжевые листья покрыты там только родительской категорией.

DiagBase и DiagAttack

	DiagBase	DiagAttack
Размер	2 401	1 088
Построение	Синтезируется из стандартов меток по осям язык × ходы × форма атаки	Переписывает одноходовые прямые запросы DiagBase в инструкционные атаки
Формы атак	Прямые вредоносные запросы, шаблонные джейлбрейки, джейлбрейки с комбинированными шаблонами	Инструкционные атаки: вредоносный замысел встраивается в безобидно выглядящую задачу с ограничениями по роли, формату и тону
Диалоги	1 472 одноходовых, 929 многоходовых	Все одноходовые
Фокус	Покрытие меток, безопасность в разных языках и многоходовых диалогах	Конфликт между строгим следованием инструкциям и безопасным отказом

Ключевые результаты

Мы оценили 11 ведущих LLM на DiagSafe. Выделяются два вывода.

1. Оценка на основе рубрик более надёжна

По сравнению с 236 ответами, размеченными людьми, в качестве эталона:

Парадигма	Согласие с людьми	Согласованность между судьями (κ Коэна)
Классификаторы безопасности (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard)	69,07% – 87,29%	—
Общий промпт безопасности + LLM	80,51% – 87,29%	0,559 – 0,766
Промпт со спецификацией меток + LLM	82,63% – 86,86%	0,532 – 0,802
Рубрика на уровне промпта + LLM (DiagSafe)	89,41% – 95,34%	0,828 – 0,864

Оценивание на основе рубрик достигает 95,34% согласия с человеческими аннотациями и остаётся выше 93% согласия по всем моделям-судьям, тогда как две парадигмы на основе промптов заметно различаются между судьями. Кроме того, человеческая проверка показывает, что 96,4% промптов действительно вредоносны, а 99,6% рубрик разумны и применимы на практике.

2. Ведущие LLM остаются небезопасными, особенно на DiagAttack

• На DiagBase доля небезопасных ответов варьируется от 2,8% до 32,9%.
• На DiagAttack доля небезопасных ответов у каждой модели возрастает в 1,9–8,4× по сравнению со значением на DiagBase (медиана 5,3×); 8 из 11 моделей превышают 40%, и даже лучшая модель остаётся выше 18%.
• Обёртывание вредоносного намерения в обычную задачу достаточно, чтобы подорвать отказы по соображениям безопасности: следование инструкциям и отказ по соображениям безопасности конкурируют в текущем обучении, а существующие бенчмарки редко охватывают подобный тип атаки.

Недавно выпущенные модели. Мы дополнительно оценили пять недавно выпущенных моделей по точно той же методике (те же 3 489 промптов и рубрики на уровне промптов, без системного промпта, та же конфигурация декодирования и Hy3 в качестве судьи, управляемого рубриками). Их результаты согласуются с приведёнными выше выводами: каждая модель явно менее безопасна на DiagAttack, чем на DiagBase.

Показать точные значения

Модель	Общая ↓	DiagBase ↓	DiagAttack ↓	Полезность ↑
Qwen3.8-27B	8.5	3.3	20.2	2.23
Hy4-Preview	11.9	3.9	30.6	2.27
GLM-5.3†	13.1	9.5	20.9	2.37
DeepSeek-V4.1-Flash	18.5	5.8	47.5	2.14
Kimi-K3	26.8	14.9	53.5	2.31

Доли небезопасных ответов указаны в %; полезность — средняя оценка (0–3). ^† GLM-5.3 не может отключить режим рассуждения, поэтому оценивается с настройкой низких усилий на рассуждение; все остальные настройки идентичны.

Дополнительная диагностика

Оценки на уровне отдельных пунктов также выявляют различия, которые скрывает общая доля небезопасных ответов. Слева: каждая модель на плоскости «безопасность–полезность» по 11 измерениям L1. Справа: три модели с почти одинаковой общей долей небезопасных ответов резко расходятся на уровне категорий.