🚀 CySecBench: مجموعة بيانات موجهات (Prompts) للأمن السيبراني مبنية على الذكاء الاصطناعي التوليدي لقياس أداء نماذج اللغة الكبيرة 🛡️

أكبر وأشمل مجموعة بيانات تركّز على الأمن السيبراني ومبنية على الذكاء الاصطناعي التوليدي لقياس أداء نماذج اللغة الكبيرة

🌟 نظرة عامة

تقدّم ورقة CySecBench ما يلي:

• 🎯 مجموعة بيانات متطورة تضم 12662 موجهًا (prompt) مصممة خصيصًا لتحديات الأمن السيبراني.
• 🧠 طرق جديدة لكسر الحماية (Jailbreaking) تستفيد من إخفاء الموجهات (obfuscation) وصقلها.
• 📊 تقييم شامل للأداء لنماذج اللغة الكبيرة مثل ChatGPT وClaude وGemini.

لماذا CySecBench؟

مجموعات البيانات الحالية واسعة جدًا وغالبًا ما تفتقر إلى التركيز على الأمن السيبراني. تسدّ CySecBench هذه الفجوة من خلال توفير موجهات خاصة بالمجال منظمة في 10 فئات، مما يتيح تقييمًا دقيقًا لآليات الأمان في نماذج اللغة الكبيرة.

📄 الوصول إلى الورقة البحثية

يمكنك تنزيل الورقة البحثية الكاملة من هنا: CySecBench (PDF)

✨ الميزات

🗂️ مجموعة البيانات

• 📁 10 فئات من الموجهات:
  • 🌩️ هجمات السحابة
  • ⚙️ هجمات أنظمة التحكم
  • 🔒 هجمات التشفير
  • 🕵️ تقنيات التهرب
  • 💻 هجمات الأجهزة
  • 🔐 تقنيات التسلل
  • 📡 هجمات إنترنت الأشياء
  • 🦠 هجمات البرمجيات الخبيثة
  • 🌐 هجمات الشبكات
  • 🌍 هجمات تطبيقات الويب

🗂️ بنية المستودع

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 البدء

⚙️ المتطلبات الأساسية

• 🐍 Python 3.8+
• 📦 المكتبات المطلوبة: openai (فقط لتوليد مجموعة البيانات)

📊 النتائج باستخدام CySecBench

🎯 مقاييس التقييم

• ✅ معدل النجاح (SR): النسبة المئوية للموجهات التي تتجاوز الإرشادات الأخلاقية.
• 📈 متوسط التقييم (AR): درجة الخطورة في استجابات نماذج اللغة الكبيرة (على مقياس من 1 إلى 5، حيث 5 هي الأعلى خطورة).

⚡ أداء كسر الحماية (Jailbreaking)

📜 الاقتباس (Citation)

إذا كنت تستخدم CySecBench، يرجى الاستشهاد بما يلي:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ امنح هذا المستودع نجمة!

إذا وجدت CySecBench مفيدًا أو مثيرًا للاهتمام، فيرجى منح هذا المستودع نجمة ⭐ لإظهار دعمك!

🔒 الترخيص

هذا المشروع مرخّص بموجب رخصة MIT. راجع ملف LICENSE للحصول على التفاصيل.