🚀 CySecBench: Auf generativer KI basierendes Cybersicherheits-Prompt-Dataset für das Benchmarking großer Sprachmodelle 🛡️

Das größte und umfassendste, auf generativer KI basierende Cybersicherheits-Dataset für das Benchmarking großer Sprachmodelle

🌟 Überblick

Das CySecBench-Paper bietet:

• 🎯 Ein hochmodernes Dataset mit 12662 Prompts, die auf Cybersicherheits-Herausforderungen zugeschnitten sind.
• 🧠 Neuartige Jailbreaking-Methoden, die Prompt-Verschleierung und -Verfeinerung nutzen.
• 📊 Umfassende Leistungsbewertung von LLMs wie ChatGPT, Claude und Gemini.

Warum CySecBench?

Bestehende Datasets sind zu breit gefasst und haben oft keinen ausreichenden Fokus auf Cybersicherheit. CySecBench schließt diese Lücke, indem es domänenspezifische Prompts bereitstellt, die in 10 Kategorien organisiert sind und eine präzise Bewertung der Sicherheitsmechanismen von LLMs ermöglichen.

📄 Zugriff auf das Paper

Sie können das vollständige Forschungspaper hier herunterladen: CySecBench (PDF)

✨ Funktionen

🗂️ Datensatz

• 📁 10 Kategorien von Prompts:
  • 🌩️ Cloud-Angriffe
  • ⚙️ Angriffe auf Steuerungssysteme
  • 🔒 Kryptografische Angriffe
  • 🕵️ Umgehungstechniken
  • 💻 Hardware-Angriffe
  • 🔐 Intrusionstechniken
  • 📡 IoT-Angriffe
  • 🦠 Malware-Angriffe
  • 🌐 Netzwerkangriffe
  • 🌍 Angriffe auf Webanwendungen

🗂️ Repository-Struktur

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 Erste Schritte

⚙️ Voraussetzungen

• 🐍 Python 3.8+
• 📦 Erforderliche Bibliotheken: openai (nur für die Datensatzgenerierung)

📊 Ergebnisse mit CySecBench

🎯 Bewertungsmetriken

• ✅ Erfolgsquote (SR): Prozentsatz der Prompts, die ethische Richtlinien umgehen.
• 📈 Durchschnittsbewertung (AR): Grad der Schädlichkeit in LLM-Antworten (auf einer Skala von 1-5, wobei 5 am schädlichsten ist).

⚡ Jailbreaking-Leistung

📜 Zitieren

Wenn Sie CySecBench verwenden, zitieren Sie bitte:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ Gib diesem Repository einen Stern!

Wenn Sie CySecBench hilfreich oder interessant finden, geben Sie diesem Repository bitte einen Stern ⭐, um Ihre Unterstützung zu zeigen!

🔒 Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert. Weitere Details finden Sie in der Datei LICENSE.