日本語 | 简体中文
DiagSafeは、大規模言語モデル向けの診断的な安全性ベンチマークであり、次の2つの部分から構成されています：
これらを組み合わせることで、信頼性が高く説明可能な判定と、各モデルの細粒度な安全性診断が得られます。
(1) プロンプトごとに1つのルーブリック；(2) 異なるジャッジが同じルーブリックで一貫した判定に到達する；(3) 項目レベルのヒットが各モデルの具体的なリスクを明らかにする。
| 項目 | 詳細 |
|---|---|
| プロンプト | 3,489件（DiagBase 2,401 · DiagAttack 1,088）、中国語と英語がほぼ1:1 |
| タクソノミー | 11 L1 / 34 L2 / 84 L3ラベル。中国、米国、EUなどの地域の公開AI安全ガイドラインから抽出した204の安全規定に基づいて構築 |
| 対話 | シングルターン2,560件、マルチターン929件（2〜5ターン） |
| 攻撃形式 | 直接的な有害リクエスト、テンプレートジェイルブレイク、複合テンプレートジェイルブレイク、指示攻撃 |
| 評価 | LLM-as-a-judge：プロンプト固有の安全性項目（平均4.5項目、各項目に適用除外あり）＋8つの共通有用性項目（0〜3点） |
各L3ラベルには定義、一般基準、詳細なルールが付与され、各ルーブリックはそのラベルの基準から生成されます。以下のリーフレベルの比較は、SALAD-Bench、S-Eval、Do-Not-Answer、CHiSafetyBenchとの比較です。赤いリーフはこれらのベンチマークに対応する項目がなく、オレンジのリーフは親カテゴリによってのみカバーされています。
| DiagBase | DiagAttack | |
|---|---|---|
| 規模 | 2,401 | 1,088 |
| 構築方法 | ラベル基準から言語 × ターン × 攻撃形式に沿って合成 | DiagBaseのシングルターンの直接リクエストを指示攻撃に書き換え |
| 攻撃形式 | 直接的な有害リクエスト、テンプレートジェイルブレイク、複合テンプレートジェイルブレイク | 指示攻撃：有害な意図を、役割・形式・口調の制約を伴う無害に見えるタスクに埋め込む |
| 対話 | シングルターン1,472件、マルチターン929件 | すべてシングルターン |
| 焦点 | ラベルのカバレッジ、言語間およびマルチターン対話における安全性 | 強い指示追従性と安全な拒否の間の葛藤 |
DiagSafe上で11の主要なLLMを評価しました。特に注目すべき2つの知見があります。
236件の人間によるアノテーション済み応答をゴールドスタンダードとして比較すると：
| パラダイム | 人間との一致率 | 判定者間の一貫性（Cohen's κ） |
|---|---|---|
| 安全性分類器（MD-Judge、LlamaGuard4、S-Eval、Qwen3Guard） | 69.07% – 87.29% | — |
| 汎用安全性プロンプト + LLM | 80.51% – 87.29% | 0.559 – 0.766 |
| ラベル仕様プロンプト + LLM | 82.63% – 86.86% | 0.532 – 0.802 |
| プロンプトレベルのルーブリック + LLM（DiagSafe） | 89.41% – 95.34% | 0.828 – 0.864 |
ルーブリックベースの判定は、人間のアノテーションとの一致率が最大 95.34% に達し、判定モデル間でも93%以上を維持します。一方、プロンプトベースの2つのパラダイムは判定者によって著しく変動します。さらに人間によるレビューでは、プロンプトの96.4%が実際に有害であり、ルーブリックの99.6%が妥当かつ実行可能であることが確認されました。
最近リリースされたモデル。 さらに、最近リリースされた5つのモデルをまったく同じプロトコル（同じ3,489個のプロンプトとプロンプトレベルのルーブリック、システムプロンプトなし、同じデコーディング設定、ルーブリック誘導判定者としてHy3）で評価しました。その結果は上記の知見と一致しています。すべてのモデルがDiagAttackにおいてDiagBaseよりも明らかに安全性が低くなっています。
| モデル | 総合 ↓ | DiagBase ↓ | DiagAttack ↓ | 有用性 ↑ |
|---|---|---|---|---|
| Qwen3.8-27B | 8.5 | 3.3 | 20.2 | 2.23 |
| Hy4-Preview | 11.9 | 3.9 | 30.6 | 2.27 |
| GLM-5.3† | 13.1 | 9.5 | 20.9 | 2.37 |
| DeepSeek-V4.1-Flash | 18.5 | 5.8 | 47.5 | 2.14 |
| Kimi-K3 | 26.8 | 14.9 | 53.5 | 2.31 |
不安全率は%単位、有用性は平均スコア（0～3）です。 † GLM-5.3は推論モードを無効化できないため、低推論努力設定で評価されています。その他の設定はすべて同一です。
項目レベルの判定は、総合的な不安全率では隠れてしまう差異も明らかにします。左：11のL1次元にわたる安全性–有用性平面上の各モデル。右：総合不安全率がほぼ同一の3つのモデルが、カテゴリレベルでは大きく乖離しています。
モデルは一般に中国語およびマルチターンの対話においてより脆弱であり、ターンごとの不安全率は会話が進むにつれて上昇し続けます。
完全な実験と分析については論文をご覧ください。
DiagSafe/
├── data/
│ ├── README.md # Dataset composition, relationships and checksums
│ ├── prompts/ # 3,489 bilingual prompts, JSON Schema, field reference
│ ├── rubrics/ # Prompt-level rubrics, JSON Schema, rendering guide
│ └── taxonomy/ # 84-label taxonomy (Chinese & English), schemas, label tree
├── src/
│ ├── judge/ # OpenAI-compatible client and judge-output parsing
│ ├── rubric/ # Rubric rendering, including multi-turn history
│ ├── utils/ # I/O and configuration helpers
│ └── analyze.py # Grouped statistics
├── scripts/
│ ├── run_eval.py # End-to-end evaluation
│ └── analyze.py # Re-analysis of an existing results file
├── configs/ # Judge and model configurations (OpenAI API, vLLM)
├── dashboard/ # Dataset dashboard (local server and static export)
├── examples/ # Joined prompt–rubric–taxonomy example
├── assets/ # Paper figures used in this README
├── paper/ # Paper PDF (DiagSafe.pdf)
├── requirements.txt
├── LICENSE # CC BY 4.0
├── README.md # English
└── README_zh.md # Simplified Chinese
git clone https://github.com/Tencent-Hunyuan/DiagSafe.git
cd DiagSafe
pip install -r requirements.txt
要件: Python 3.10+ および OpenAI 互換の LLM API へのアクセス（LLM-as-a-judge として使用）。