VADER: Человечески оценённый бенчмарк для оценки, обнаружения, объяснения и устранения уязвимостей

Официальный GitHub-репозиторий: https://github.com/AfterQuery/vader
Датасет на Hugging Face: https://huggingface.co/datasets/AfterQuery/vader

VADER — это человечески оценённый бенчмарк, предназначенный для измерения того, насколько хорошо большие языковые модели (LLM) справляются с реальными уязвимостями программного обеспечения. Он содержит 174 реальных случая уязвимостей (отобранных из репозиториев с открытым исходным кодом), охватывающих четыре задачи:

• Идентификация и классификация уязвимостей (CWE)
• Объяснение первопричины
• Исправление (ремедиация)
• Генерация тестового плана

Эти случаи охватывают более 15 языков программирования (например, JavaScript, Python, Go, C/C++, PHP и т. д.) и часто включают многофайловый контекст, имитируя реальные среды разработки.

📌 Ключевые особенности

• ✅ 174 реальные уязвимости: Проверены и аннотированы опытными экспертами по безопасности.
• 🛠️ Многоэтапная оценка: Оценка, обнаружение, объяснение, устранение и тестирование.
• 🌐 Языки: JavaScript, Python, PHP, Go, TypeScript, C/C++, HTML/CSS, Shell, Solidity, Java, Ruby и другие.
• 🧠 Рубрика человеческой оценки: Основана на реальных практиках кибербезопасности. Оценки взвешены: 50% — за качество устранения уязвимости.
• 📊 Многофайловые сценарии: Более 75% примеров включают несколько файлов или языков.
• 🚨 С учётом серьёзности: 61% примеров имеют уровень серьёзности «Высокий» или «Критический».

📦 Установка

Клонируйте репозиторий и установите зависимости:

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt