🚀 CySecBench: Генеративный ИИ-ориентированный набор промптов по кибербезопасности для бенчмаркинга больших языковых моделей 🛡️

Самый большой и всеобъемлющий набор данных на основе генеративного ИИ, ориентированный на кибербезопасность, для бенчмаркинга больших языковых моделей

🌟 Обзор

Статья CySecBench предлагает:

• 🎯 Передовой набор данных из 12662 промптов, адаптированных к задачам кибербезопасности.
• 🧠 Новые методы джейлбрейка, использующие обфускацию и уточнение промптов.
• 📊 Комплексная оценка производительности LLM, таких как ChatGPT, Claude и Gemini.

Почему CySecBench?

Существующие наборы данных слишком общие и часто не имеют фокуса на кибербезопасности. CySecBench заполняет этот пробел, предоставляя доменно-специфичные промпты, организованные в 10 категорий, что позволяет точно оценить механизмы безопасности LLM.

📄 Доступ к статье

Вы можете скачать полную исследовательскую статью здесь: CySecBench (PDF)

✨ Возможности

🗂️ Набор данных

• 📁 10 категорий промптов:
  • 🌩️ Атаки на облако
  • ⚙️ Атаки на системы управления
  • 🔒 Криптографические атаки
  • 🕵️ Методы обхода
  • 💻 Атаки на оборудование
  • 🔐 Методы вторжения
  • 📡 Атаки на Интернет вещей
  • 🦠 Атаки с помощью вредоносного ПО
  • 🌐 Сетевые атаки
  • 🌍 Атаки на веб-приложения

🗂️ Структура репозитория

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 Начало работы

⚙️ Предварительные требования

• 🐍 Python 3.8+
• 📦 Необходимые библиотеки: openai (только для генерации набора данных)

📊 Результаты с использованием CySecBench

🎯 Метрики оценки

• ✅ Коэффициент успеха (SR): Процент промптов, обходящих этические нормы.
• 📈 Средний рейтинг (AR): Степень вредоносности ответов LLM (по шкале от 1 до 5, где 5 — наиболее вредоносный).

⚡ Производительность джейлбрейка

📜 Цитирование

Если вы используете CySecBench, пожалуйста, цитируйте:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ Поставьте звезду этому репозиторию!

Если вы нашли CySecBench полезным или интересным, пожалуйста, поставьте этому репозиторию звезду ⭐, чтобы выразить свою поддержку!

🔒 Лицензия

Этот проект лицензирован под лицензией MIT. Подробнее см. в файле LICENSE.