VADER: भेद्यता आकलन, पहचान, स्पष्टीकरण और सुधार के लिए एक मानव-मूल्यांकित बेंचमार्क

आधिकारिक GitHub रिपॉजिटरी: https://github.com/AfterQuery/vader
Hugging Face डेटासेट: https://huggingface.co/datasets/AfterQuery/vader

VADER एक मानव-मूल्यांकित बेंचमार्क है, जिसे यह मापने के लिए डिज़ाइन किया गया है कि बड़े भाषा मॉडल (LLMs) वास्तविक दुनिया की सॉफ़्टवेयर भेद्यताओं को कितनी अच्छी तरह संभालते हैं। इसमें 174 वास्तविक दुनिया के भेद्यता मामले (ओपन-सोर्स रिपॉजिटरी से संकलित) शामिल हैं, जो चार कार्यों को कवर करते हैं:

भेद्यता पहचान और वर्गीकरण (CWE)
मूल-कारण स्पष्टीकरण
पैच (सुधार)
परीक्षण योजना निर्माण

ये मामले 15+ प्रोग्रामिंग भाषाओं (जैसे JavaScript, Python, Go, C/C++, PHP, आदि) में फैले हुए हैं और अक्सर मल्टी-फ़ाइल संदर्भ शामिल करते हैं, जो वास्तविक दुनिया के विकास परिवेशों की नकल करते हैं।

📌 मुख्य विशेषताएँ

✅ 174 वास्तविक दुनिया की भेद्यताएँ: अनुभवी सुरक्षा विशेषज्ञों द्वारा सत्यापित और एनोटेट की गईं।
🛠️ बहु-चरणीय मूल्यांकन: आकलन, पहचान, स्पष्टीकरण, सुधार और परीक्षण।
🌐 भाषाएँ: JavaScript, Python, PHP, Go, TypeScript, C/C++, HTML/CSS, Shell, Solidity, Java, Ruby, और अन्य।
🧠 मानव स्कोरिंग रूब्रिक: वास्तविक साइबर सुरक्षा प्रथाओं पर आधारित। स्कोर में 50% भार सुधार गुणवत्ता पर दिया जाता है।
📊 मल्टी-फ़ाइल परिदृश्य: 75% से अधिक उदाहरणों में एकाधिक फ़ाइलें या भाषाएँ शामिल हैं।

vader

सबसे लोकप्रिय

📦 स्थापना