VADER: Um Benchmark Avaliado por Humanos para Avaliação, Detecção, Explicação e Remediação de Vulnerabilidades

Repositório Oficial no GitHub: https://github.com/AfterQuery/vader
Conjunto de Dados Hugging Face: https://huggingface.co/datasets/AfterQuery/vader

---

VADER é um benchmark avaliado por humanos projetado para medir o quão bem os modelos de linguagem grandes (LLMs) lidam com vulnerabilidades de software do mundo real. Ele contém 174 casos reais de vulnerabilidades (selecionados de repositórios de código aberto) abrangendo quatro tarefas:

• Identificação e classificação de vulnerabilidades (CWE)
• Explicação da causa raiz
• Correção (remediação)
• Geração de plano de teste

Esses casos abrangem 15+ linguagens de programação (por exemplo, JavaScript, Python, Go, C/C++, PHP, etc.) e frequentemente incluem contexto de múltiplos arquivos, imitando ambientes de desenvolvimento do mundo real.

---

📌 Recursos Principais

• ✅ 174 Vulnerabilidades Reais: Verificadas e anotadas por especialistas experientes em segurança.
• 🛠️ Avaliação Multi-Estágio: Avaliação, detecção, explicação, remediação e testes.
• 🌐 Linguagens: JavaScript, Python, PHP, Go, TypeScript, C/C++, HTML/CSS, Shell, Solidity, Java, Ruby e mais.
• 🧠 Rubrica de Pontuação Humana: Fundamentada em práticas reais de cibersegurança. Pontuações com peso de 50% para a qualidade da remediação.