VADER：用于漏洞评估、检测、解释和修复的人工评估基准

官方 GitHub 仓库：https://github.com/AfterQuery/vader
Hugging Face 数据集：https://huggingface.co/datasets/AfterQuery/vader

VADER 是一个人工评估基准，旨在衡量大型语言模型（LLMs）处理真实世界软件漏洞的能力。它包含 174 个真实世界漏洞案例（从开源仓库中精选），涵盖四项任务：

• 漏洞识别与分类（CWE）
• 根因解释
• 补丁（修复）
• 测试计划生成

这些案例涵盖 15+ 编程语言（例如 JavaScript、Python、Go、C/C++、PHP 等），并且通常包含多文件上下文，模拟真实开发环境。

📌 主要特性

• ✅ 174 个真实世界漏洞：由经验丰富的安全专家验证和注释。
• 🛠️ 多阶段评估：评估、检测、解释、修复和测试。
• 🌐 语言：JavaScript、Python、PHP、Go、TypeScript、C/C++、HTML/CSS、Shell、Solidity、Java、Ruby 等。
• 🧠 人工评分标准：基于真实网络安全实践。评分中 50% 权重用于修复质量。
• 📊 多文件场景：超过 75% 的示例包含多个文件或语言。
• 🚨 严重性感知：61% 的示例为“高”或“严重”严重性。

📦 安装

克隆仓库并安装依赖：

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt