CySecBench 論文が提供するもの：
CySecBenchが重要な理由は？
既存のデータセットは範囲が広すぎて、サイバーセキュリティに焦点を当てていないことがよくあります。CySecBenchは、10カテゴリに整理されたドメイン特化型プロンプトを提供することでこのギャップを埋め、LLMのセキュリティメカニズムの精密な評価を可能にします。
完全な研究論文はこちらからダウンロードできます：CySecBench (PDF)
/
├── Code/
│ ├── dataset_generation.py
│ ├── keywords.txt
├── Dataset/
│ ├── Category sets/
│ │ ├── cysecbench-cloud-attacks.csv
│ │ ├── cysecbench-control-system-attacks.csv
│ │ ├── cysecbench-cryptographic-attacks.csv
│ │ ├── cysecbench-evasion-techniques.csv
│ │ ├── cysecbench-hardware-attacks.csv
│ │ ├── cysecbench-intrusion-techniques.csv
│ │ ├── cysecbench-iot-attacks.csv
│ │ ├── cysecbench-malware-attacks.csv
│ │ ├── cysecbench-network-attacks.csv
│ │ ├── cysecbench-web-application-attacks.csv
│ ├── Full dataset/
│ │ ├── cysecbench.csv
│ ├── Sample sets/
│ ├── cysecbench-500.csv
│ ├── cysecbench-2000.csv
│ ├── cysecbench-6000.csv
openai （データセット生成時のみ）| LLM | 成功率（SR） | 平均評価（AR） |
|---|---|---|
| 🤖 Claude | 17.4% | 2.00 |
| 🤖 ChatGPT |
CySecBenchを使用する場合は、次のように引用してください：
@article{CySecBench2024,
title = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
author = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
year = {2025},
journal = {arXiv preprint arXiv:2501.01335},
url = {https://arxiv.org/abs/2501.01335}
}
CySecBenchが役に立った、または興味深いと感じた場合は、このリポジトリにスター ⭐ を付けてサポートをお願いします！
このプロジェクトはMITライセンスの下でライセンスされています。詳細についてはLICENSEファイルを参照してください。
| 65.4% |
| 4.06 |
| 🤖 Gemini | 88.4% | 4.77 |