VADER : un benchmark évalué par des humains pour l'évaluation, la détection, l'explication et la remédiation des vulnérabilités

Dépôt GitHub officiel : https://github.com/AfterQuery/vader
Jeu de données Hugging Face : https://huggingface.co/datasets/AfterQuery/vader

VADER est un benchmark évalué par des humains conçu pour mesurer dans quelle mesure les grands modèles de langage (LLM) gèrent les vulnérabilités logicielles réelles. Il contient 174 cas de vulnérabilités réelles (sélectionnés à partir de dépôts open-source) couvrant quatre tâches :

• Identification et classification des vulnérabilités (CWE)
• Explication de la cause racine
• Correctif (remédiation)
• Génération de plans de test

Ces cas couvrent plus de 15 langages de programmation (p. ex. JavaScript, Python, Go, C/C++, PHP, etc.) et incluent souvent un contexte multi-fichiers, imitant les environnements de développement réels.

📌 Caractéristiques clés

• ✅ 174 vulnérabilités réelles : vérifiées et annotées par des experts en sécurité expérimentés.
• 🛠️ Évaluation en plusieurs étapes : évaluation, détection, explication, remédiation et test.
• 🌐 Langages : JavaScript, Python, PHP, Go, TypeScript, C/C++, HTML/CSS, Shell, Solidity, Java, Ruby, etc.
• 🧠 Grille de notation humaine : fondée sur les pratiques réelles de cybersécurité. Les scores sont pondérés à 50 % en faveur de la qualité de la remédiation.
• 📊 Scénarios multi-fichiers : plus de 75 % des exemples incluent plusieurs fichiers ou langages.
• 🚨 Prise en compte de la sévérité : 61 % des exemples sont de sévérité « Élevée » ou « Critique ».

📦 Installation

Clonez le dépôt et installez les dépendances :

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt