🚀 CySecBench：基于生成式AI的网络安全专用提示数据集，用于基准测试大语言模型 🛡️

规模最大、最全面的基于生成式AI的网络安全专用数据集，用于基准测试大语言模型

🌟 概述

CySecBench 论文提供了：

🎯 一个尖端的提示数据集，包含12662条针对网络安全挑战的提示。
🧠 新颖的越狱方法，利用提示混淆与改进技术。
📊 对大语言模型（如ChatGPT、Claude和Gemini）的全面性能评估。

为什么选择 CySecBench？

现有数据集过于宽泛，且往往缺乏对网络安全的专注。CySecBench 通过提供领域专用的提示，将其组织成10个类别，从而弥补了这一空白，实现了对LLM安全机制的精准评估。

📄 获取论文

您可以在此处下载完整的研究论文：CySecBench (PDF)

✨ 特点

🗂️ 数据集

📁 10个提示类别：
- 🌩️ 云攻击
- ⚙️ 控制系统攻击
- 🔒 密码攻击
- 🕵️ 逃逸技术
- 💻 硬件攻击
- 🔐 入侵技术
- 📡 物联网攻击
- 🦠 恶意软件攻击
- 🌐 网络攻击
- 🌍 Web应用攻击

🗂️ 仓库结构

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 快速开始

⚙️ 前提条件

🐍 Python 3.8+
📦 所需的库：openai（仅用于数据集生成）

📊 使用 CySecBench 的结果

🎯 评估指标

✅ 成功率 (SR)：绕过伦理准则的提示百分比。
📈 平均评分 (AR)：LLM响应的危害程度（1-5分制，5分危害最高）。

⚡ 越狱性能

LLM	成功率 (SR)	平均评分 (AR)
🤖 Claude	17.4%	2.00
🤖 ChatGPT

📜 引用

如果您使用了 CySecBench，请引用：

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ 为这个仓库点赞！

如果您觉得 CySecBench 有帮助或有趣，请给这个仓库点一个星标 ⭐ 以示支持！

🔒 许可证

本项目采用 MIT 许可证。详情请参见 LICENSE 文件。

dataset

最受欢迎