🚀 CySecBench : Jeu de données de prompts axés sur la cybersécurité, basé sur l'IA générative, pour l'évaluation comparative de grands modèles de langage 🛡️

Le jeu de données le plus vaste et le plus complet, axé sur la cybersécurité et basé sur l'IA générative, pour l'évaluation comparative de grands modèles de langage

🌟 Aperçu

L'article CySecBench propose :

• 🎯 Un jeu de données de pointe de 12662 prompts adaptés aux défis de la cybersécurité.
• 🧠 Des méthodes de jailbreak innovantes exploitant l'obfuscation et le raffinement des prompts.
• 📊 Une évaluation complète des performances des LLM tels que ChatGPT, Claude et Gemini.

Pourquoi CySecBench ?

Les jeux de données existants sont trop généraux et manquent souvent de focus sur la cybersécurité. CySecBench comble cette lacune en fournissant des prompts spécifiques au domaine organisés en 10 catégories, permettant une évaluation précise des mécanismes de sécurité des LLM.

📄 Accéder à l'article

Vous pouvez télécharger l'article de recherche complet ici : CySecBench (PDF)

✨ Caractéristiques

🗂️ Jeu de données

• 📁 10 catégories de prompts :
  • 🌩️ Attaques cloud
  • ⚙️ Attaques sur les systèmes de contrôle
  • 🔒 Attaques cryptographiques
  • 🕵️ Techniques d'évasion
  • 💻 Attaques matérielles
  • 🔐 Techniques d'intrusion
  • 📡 Attaques IoT
  • 🦠 Attaques par malwares
  • 🌐 Attaques réseau
  • 🌍 Attaques d'applications web

🗂️ Structure du dépôt

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 Pour commencer

⚙️ Prérequis

• 🐍 Python 3.8+
• 📦 Bibliothèques requises : openai (uniquement pour la génération du jeu de données)

📊 Résultats avec CySecBench

🎯 Métriques d'évaluation

• ✅ Taux de réussite (SR) : Pourcentage de prompts contournant les directives éthiques.
• 📈 Note moyenne (AR) : Degré de nocivité des réponses des LLM (sur une échelle de 1 à 5, où 5 est le plus nocif).

⚡ Performances de jailbreak

📜 Citation

Si vous utilisez CySecBench, veuillez citer :

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ Mettez une étoile à ce dépôt !

Si vous avez trouvé CySecBench utile ou intéressant, veuillez mettre une étoile ⭐ à ce dépôt pour montrer votre soutien !

🔒 Licence

Ce projet est sous licence MIT. Consultez le fichier LICENSE pour plus de détails.