🚀 CySecBench: Generative AI पर आधारित साइबरसुरक्षा-केंद्रित प्रॉम्प्ट डेटासेट बड़े भाषा मॉडलों के मानकीकरण के लिए 🛡️

बड़े भाषा मॉडलों के मानकीकरण के लिए सबसे बड़ा और सबसे व्यापक Generative AI-आधारित साइबरसुरक्षा-केंद्रित डेटासेट

🌟 अवलोकन

CySecBench शोधपत्र प्रस्तुत करता है:

• 🎯 एक अत्याधुनिक डेटासेट जिसमें 12662 प्रॉम्प्ट साइबरसुरक्षा चुनौतियों के अनुरूप हैं।
• 🧠 उपन्यास जेलब्रेकिंग विधियाँ जो प्रॉम्प्ट अस्पष्टता और परिष्करण का लाभ उठाती हैं।
• 📊 बड़े भाषा मॉडलों (जैसे ChatGPT, Claude, और Gemini) का व्यापक प्रदर्शन मूल्यांकन।

क्यों CySecBench?

मौजूदा डेटासेट बहुत व्यापक हैं और अक्सर साइबरसुरक्षा पर ध्यान केंद्रित नहीं करते। CySecBench इस अंतर को भरता है, 10 श्रेणियों में संगठित डोमेन-विशिष्ट प्रॉम्प्ट प्रदान करके, जो LLM सुरक्षा तंत्रों का सटीक मूल्यांकन सक्षम बनाता है।

📄 शोधपत्र तक पहुँचें

आप पूर्ण शोधपत्र यहाँ डाउनलोड कर सकते हैं: CySecBench (PDF)

✨ विशेषताएँ

🗂️ डेटासेट

• 📁 प्रॉम्प्ट की 10 श्रेणियाँ:
  • 🌩️ क्लाउड हमले
  • ⚙️ नियंत्रण प्रणाली हमले
  • 🔒 क्रिप्टोग्राफ़िक हमले
  • 🕵️ चोरी-छिपे की तकनीकें
  • 💻 हार्डवेयर हमले
  • 🔐 अनाधिकृत प्रवेश तकनीकें
  • 📡 IoT हमले
  • 🦠 मैलवेयर हमले
  • 🌐 नेटवर्क हमले
  • 🌍 वेब अनुप्रयोग हमले

🗂️ रिपॉजिटरी संरचना

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 आरंभ करना

⚙️ पूर्वापेक्षाएँ

• 🐍 Python 3.8+
• 📦 आवश्यक लाइब्रेरीज़: openai (केवल डेटासेट निर्माण के लिए)

📊 CySecBench का उपयोग कर परिणाम

🎯 मूल्यांकन मीट्रिक्स

• ✅ सफलता दर (SR): नैतिक दिशानिर्देशों को दरकिनार करने वाले प्रॉम्प्ट का प्रतिशत।
• 📈 औसत रेटिंग (AR): LLM प्रतिक्रियाओं में हानिकारकता की डिग्री (1-5 के पैमाने पर, जहाँ 5 सबसे अधिक हानिकारक है)।

⚡ जेलब्रेकिंग प्रदर्शन

📜 उद्धरण

यदि आप CySecBench का उपयोग करते हैं, तो कृपया उद्धृत करें:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ इस रिपॉजिटरी को तारांकित करें!

यदि आपको CySecBench सहायक या रोचक लगा, तो कृपया समर्थन दिखाने के लिए इस रिपॉजिटरी को एक तारा ⭐ दें!

🔒 लाइसेंस

यह परियोजना MIT License के अंतर्गत लाइसेंस प्राप्त है। विवरण के लिए LICENSE फ़ाइल देखें।