VADER: un benchmark con valutazione umana per la valutazione, il rilevamento, la spiegazione e la remediation delle vulnerabilità

Repository GitHub ufficiale: https://github.com/AfterQuery/vader
Dataset Hugging Face: https://huggingface.co/datasets/AfterQuery/vader

VADER è un benchmark con valutazione umana progettato per misurare quanto bene i modelli linguistici di grandi dimensioni (LLM) gestiscono le vulnerabilità software reali. Contiene 174 casi di vulnerabilità reali (selezionati da repository open-source) che coprono quattro attività:

• Identificazione e classificazione delle vulnerabilità (CWE)
• Spiegazione della causa principale
• Patch (remediation)
• Generazione di piani di test

Questi casi coprono più di 15 linguaggi di programmazione (ad es. JavaScript, Python, Go, C/C++, PHP, ecc.) e spesso includono contesti multi-file, riproducendo ambienti di sviluppo reali.

📌 Caratteristiche principali

• ✅ 174 vulnerabilità reali: Verificate e annotate da esperti di sicurezza con esperienza.
• 🛠️ Valutazione multi-fase: valutazione, rilevamento, spiegazione, remediation e test.
• 🌐 Linguaggi: JavaScript, Python, PHP, Go, TypeScript, C/C++, HTML/CSS, Shell, Solidity, Java, Ruby e altri.
• 🧠 Rubrica di valutazione umana: Basata su pratiche reali di cybersecurity. Punteggi ponderati al 50% sulla qualità della remediation.
• 📊 Scenari multi-file: Oltre il 75% degli esempi include più file o linguaggi.
• 🚨 Consapevole della gravità: il 61% degli esempi ha gravità "Alta" o "Critica".

📦 Installazione

Clona il repository e installa le dipendenze:

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt