tencent-hunyuan/diagsafe3,489개의 이중 언어 프롬프트, 84개 레이블 분류 체계, 프롬프트 수준의 루브릭 판정을 갖춘 진단용 LLM 안전성 벤치마크로, 설명 가능하고 세밀한 모델 안전성 평가를 제공합니다.
한국어 | 简体中文
DiagSafe는 대규모 언어 모델을 위한 진단적 안전성 벤치마크로, 두 가지 부분으로 구성됩니다:
이 둘을 함께 활용하면 신뢰할 수 있고 설명 가능한 판정과 각 모델에 대한 세밀한 안전성 진단을 얻을 수 있습니다.
(1) 프롬프트당 하나의 루브릭; (2) 서로 다른 심사자가 동일한 루브릭으로 일관된 판정에 도달; (3) 항목 수준의 적중이 각 모델의 특정 위험을 드러냄.
| 차원 | 세부 사항 |
|---|---|
| 프롬프트 | 3,489개 (DiagBase 2,401 · DiagAttack 1,088), 중국어와 영어가 대략 1:1 |
| 분류 체계 | 11개 L1 / 34개 L2 / 84개 L3 레이블, 중국, 미국, EU 및 기타 지역의 공개 AI 안전 가이드라인에서 추출한 204개 안전 조항을 바탕으로 구축 |
| 대화 | 단일 턴 2,560개, 다중 턴 929개 (2–5턴) |
| 공격 형태 | 직접적 유해 요청, 템플릿 탈옥, 결합 템플릿 탈옥, 지시 공격 |
| 평가 | LLM-as-a-judge: 프롬프트별 안전성 항목(평균 4.5개, 각각 예외 사항 포함) + 여덟 개의 공통 유용성 항목(0–3점) |
모든 L3 레이블에는 정의, 일반 기준, 상세 규칙이 있으며, 각 루브릭은 해당 레이블의 기준에서 생성됩니다. 아래의 리프 수준 비교는 SALAD-Bench, S-Eval, Do-Not-Answer, CHiSafetyBench를 대상으로 합니다. 빨간색 리프는 해당 벤치마크에 대응 항목이 없음을, 주황색 리프는 상위 범주로만 포함되어 있음을 나타냅니다.
| DiagBase | DiagAttack | |
|---|---|---|
| 규모 | 2,401 | 1,088 |
| 구축 방식 | 언어 × 턴 × 공격 형태에 따라 레이블 기준에서 합성 | DiagBase의 단일 턴 직접 요청을 지시 공격으로 재작성 |
| 공격 형태 | 직접적 유해 요청, 템플릿 탈옥, 결합 템플릿 탈옥 | 지시 공격: 유해한 의도가 역할, 형식, 어조 제약을 지닌 무해해 보이는 작업에 내재됨 |
| 대화 | 단일 턴 1,472개, 다중 턴 929개 | 모두 단일 턴 |
| 초점 | 레이블 커버리지, 언어 및 다중 턴 대화 전반의 안전성 | 강력한 지시 수행과 안전성 거부 사이의 충돌 |
우리는 DiagSafe에서 11개의 선도적인 LLM을 평가했습니다. 두 가지 발견이 두드러집니다.
236개의 사람이 주석을 단 응답을 정답 기준으로 삼아 비교했을 때:
| 패러다임 | 인간과의 일치도 | 교차 심사자 일관성 (Cohen's κ) |
|---|---|---|
| 안전 분류기 (MD-Judge, LlamaGuard4, S-Eval, Qwen3Guard) | 69.07% – 87.29% | — |
| 일반 안전 프롬프트 + LLM | 80.51% – 87.29% | 0.559 – 0.766 |
| 레이블 명세 프롬프트 + LLM | 82.63% – 86.86% | 0.532 – 0.802 |
| 프롬프트 수준 루브릭 + LLM (DiagSafe) | 89.41% – 95.34% | 0.828 – 0.864 |
루브릭 기반 심사는 인간 주석과 최대 95.34% 의 일치도에 도달하며 심사자 모델 전반에서 93% 이상의 일치도를 유지하는 반면, 두 가지 프롬프트 기반 패러다임은 심사자 간에 현저한 차이를 보입니다. 인간 검토 결과 프롬프트의 96.4%가 실제로 유해하고 루브릭의 99.6%가 합리적이며 실행 가능한 것으로 나타났습니다.
최근 출시된 모델. 우리는 최근 출시된 다섯 개 모델을 정확히 동일한 프로토콜(동일한 3,489개의 프롬프트와 프롬프트 수준 루브릭, 시스템 프롬프트 없음, 동일한 디코딩 구성, 루브릭 기반 심사자로 Hy3 사용)로 추가 평가했습니다. 그 결과는 위의 발견과 일치합니다: 모든 모델이 DiagAttack에서 DiagBase보다 명백히 덜 안전합니다.
| 모델 | 전체 ↓ | DiagBase ↓ | DiagAttack ↓ | 유용성 ↑ |
|---|---|---|---|---|
| Qwen3.8-27B | 8.5 | 3.3 | 20.2 | 2.23 |
| Hy4-Preview | 11.9 | 3.9 | 30.6 | 2.27 |
| GLM-5.3† | 13.1 | 9.5 | 20.9 | 2.37 |
| DeepSeek-V4.1-Flash | 18.5 | 5.8 | 47.5 | 2.14 |
| Kimi-K3 | 26.8 | 14.9 | 53.5 | 2.31 |
불안전 비율은 % 단위이며, 유용성은 평균 점수(0–3)입니다. † GLM-5.3은 추론 모드를 비활성화할 수 없으므로 낮은 추론 노력 설정으로 평가되었으며, 다른 모든 설정은 동일합니다.
항목 수준 판정은 전체 불안전 비율이 가리는 차이도 드러냅니다. 왼쪽: 11개 L1 차원에 걸친 각 모델의 안전–유용성 평면. 오른쪽: 전체 불안전 비율이 거의 동일한 세 모델이 범주 수준에서 크게 갈라집니다.
모델은 일반적으로 중국어와 다중 턴 대화에서 더 취약하며, 대화가 진행될수록 턴별 불안전 비율이 계속 상승합니다:
전체 실험과 분석은 논문을 참조하세요.
DiagSafe/
├── data/
│ ├── README.md # Dataset composition, relationships and checksums
│ ├── prompts/ # 3,489 bilingual prompts, JSON Schema, field reference
│ ├── rubrics/ # Prompt-level rubrics, JSON Schema, rendering guide
│ └── taxonomy/ # 84-label taxonomy (Chinese & English), schemas, label tree
├── src/
│ ├── judge/ # OpenAI-compatible client and judge-output parsing
│ ├── rubric/ # Rubric rendering, including multi-turn history
│ ├── utils/ # I/O and configuration helpers
│ └── analyze.py # Grouped statistics
├── scripts/
│ ├── run_eval.py # End-to-end evaluation
│ └── analyze.py # Re-analysis of an existing results file
├── configs/ # Judge and model configurations (OpenAI API, vLLM)
├── dashboard/ # Dataset dashboard (local server and static export)
├── examples/ # Joined prompt–rubric–taxonomy example
├── assets/ # Paper figures used in this README
├── paper/ # Paper PDF (DiagSafe.pdf)
├── requirements.txt
├── LICENSE # CC BY 4.0
├── README.md # English
└── README_zh.md # Simplified Chinese
git clone https://github.com/Tencent-Hunyuan/DiagSafe.git
cd DiagSafe
pip install -r requirements.txt