🚀 CySecBench: Dataset de Prompts de Ciberseguridad Centrado en IA Generativa para la Evaluación Comparativa de Grandes Modelos de Lenguaje 🛡️

El dataset más grande y completo de Ciberseguridad basado en IA Generativa para la Evaluación Comparativa de Grandes Modelos de Lenguaje

🌟 Descripción general

El artículo CySecBench ofrece:

• 🎯 Un dataset de vanguardia de 12662 prompts adaptados a desafíos de ciberseguridad.
• 🧠 Novedosos métodos de jailbreaking que aprovechan la ofuscación y el refinamiento de prompts.
• 📊 Evaluación integral del rendimiento de LLMs como ChatGPT, Claude y Gemini.

¿Por qué CySecBench?

Los datasets existentes son demasiado amplios y a menudo carecen de enfoque en ciberseguridad. CySecBench llena este vacío al proporcionar prompts específicos del dominio organizados en 10 categorías, permitiendo una evaluación precisa de los mecanismos de seguridad de los LLM.

📄 Acceder al artículo

Puedes descargar el artículo completo aquí: CySecBench (PDF)

✨ Características

🗂️ Dataset

• 📁 10 Categorías de Prompts:
  • 🌩️ Ataques en la Nube
  • ⚙️ Ataques a Sistemas de Control
  • 🔒 Ataques Criptográficos
  • 🕵️ Técnicas de Evasión
  • 💻 Ataques de Hardware
  • 🔐 Técnicas de Intrusión
  • 📡 Ataques IoT
  • 🦠 Ataques de Malware
  • 🌐 Ataques de Red
  • 🌍 Ataques a Aplicaciones Web

🗂️ Estructura del Repositorio

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 Comenzando

⚙️ Requisitos Previos

• 🐍 Python 3.8+
• 📦 Librerías requeridas: openai (solo para generación de datasets)

📊 Resultados usando CySecBench

🎯 Métricas de Evaluación

• ✅ Tasa de Éxito (SR): Porcentaje de prompts que eluden las pautas éticas.
• 📈 Calificación Promedio (AR): Grado de peligrosidad en las respuestas de los LLM (en una escala del 1 al 5, donde 5 es lo más peligroso).

⚡ Rendimiento de Jailbreaking

📜 Citación

Si usas CySecBench, por favor cita:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ ¡Dale una Estrella a Este Repositorio!

Si encontraste CySecBench útil o interesante, ¡dale una estrella ⭐ a este repositorio para mostrar tu apoyo!

🔒 Licencia

Este proyecto está licenciado bajo la Licencia MIT. Consulta el archivo LICENSE para más detalles.