VADER: معيار يُقيَّم بواسطة البشر لتقييم الثغرات الأمنية واكتشافها وتفسيرها وإصلاحها

المستودع الرسمي على GitHub: https://github.com/AfterQuery/vader
مجموعة البيانات على Hugging Face: https://huggingface.co/datasets/AfterQuery/vader

VADER هو معيار يُقيَّم بواسطة البشر مصمم لقياس مدى قدرة نماذج اللغة الكبيرة (LLMs) على التعامل مع الثغرات الأمنية في البرمجيات الواقعية. يحتوي على 174 حالة ثغرة أمنية حقيقية (منتقاة من مستودعات مفتوحة المصدر) تغطي أربع مهام:

• تحديد الثغرات وتصنيفها (CWE)
• شرح السبب الجذري
• التصحيح (الإصلاح)
• إنشاء خطة الاختبار

تغطي هذه الحالات أكثر من 15 لغة برمجة (مثل JavaScript وPython وGo وC/C++ وPHP وغيرها) وتتضمن غالبًا سياقًا متعدد الملفات، مما يحاكي بيئات التطوير الواقعية.

📌 الميزات الرئيسية

• ✅ 174 ثغرة أمنية حقيقية: تم التحقق منها وتوثيقها بواسطة خبراء أمنيين ذوي خبرة.
• 🛠️ تقييم متعدد المراحل: التقييم، والاكتشاف، والتفسير، والإصلاح، والاختبار.
• 🌐 اللغات: JavaScript وPython وPHP وGo وTypeScript وC/C++ وHTML/CSS وShell وSolidity وJava وRuby والمزيد.
• 🧠 سُلَّم التقييم البشري: قائم على ممارسات الأمن السيبراني الواقعية. تُوزَّن الدرجات بنسبة 50% لصالح جودة الإصلاح.
• 📊 سيناريوهات متعددة الملفات: أكثر من 75% من الأمثلة تتضمن ملفات أو لغات متعددة.
• 🚨 مراعاة الخطورة: 61% من الأمثلة بخطورة "عالية" أو "حرجة".

📦 التثبيت

استنسخ المستودع وثبّت التبعيات:

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt