🚀 CySecBench: Dataset di prompt incentrati sulla cybersecurity basato su IA generativa per il benchmarking dei modelli linguistici di grandi dimensioni 🛡️

Il più grande e completo dataset di prompt incentrati sulla cybersecurity basato su IA generativa per il benchmarking dei modelli linguistici di grandi dimensioni

🌟 Panoramica

Il paper CySecBench offre:

• 🎯 Un dataset all'avanguardia di 12662 prompt pensati per le sfide della cybersecurity.
• 🧠 Nuovi metodi di jailbreaking che sfruttano l'offuscamento e il raffinamento dei prompt.
• 📊 Valutazione completa delle prestazioni di LLM come ChatGPT, Claude e Gemini.

Perché CySecBench?

I dataset esistenti sono troppo generici e spesso non sono incentrati sulla cybersecurity. CySecBench colma questa lacuna fornendo prompt specifici per dominio organizzati in 10 categorie, consentendo una valutazione precisa dei meccanismi di sicurezza degli LLM.

📄 Accedi al Paper

Puoi scaricare il paper di ricerca completo qui: CySecBench (PDF)

✨ Caratteristiche

🗂️ Dataset

• 📁 10 Categorie di Prompt:
  • 🌩️ Attacchi Cloud
  • ⚙️ Attacchi ai Sistemi di Controllo
  • 🔒 Attacchi Crittografici
  • 🕵️ Tecniche di Evasione
  • 💻 Attacchi Hardware
  • 🔐 Tecniche di Intrusione
  • 📡 Attacchi IoT
  • 🦠 Attacchi Malware
  • 🌐 Attacchi di Rete
  • 🌍 Attacchi alle Applicazioni Web

🗂️ Struttura del Repository

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 Per Iniziare

⚙️ Prerequisiti

• 🐍 Python 3.8+
• 📦 Librerie richieste: openai (solo per la generazione del dataset)

📊 Risultati con CySecBench

🎯 Metriche di Valutazione

• ✅ Tasso di Successo (SR): Percentuale di prompt che bypassano le linee guida etiche.
• 📈 Valutazione Media (AR): Grado di dannosità nelle risposte degli LLM (su una scala da 1 a 5, dove 5 è il più dannoso).

⚡ Prestazioni di Jailbreaking

📜 Citazione

Se utilizzi CySecBench, ti preghiamo di citare:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ Metti una Stella a Questo Repository!

Se hai trovato CySecBench utile o interessante, metti una stella ⭐ a questo repository per mostrare il tuo supporto!

🔒 Licenza

Questo progetto è concesso in licenza secondo i termini della MIT License. Consulta il file LICENSE per i dettagli.