VADER: 脆弱性の評価・検出・説明・修復のための人間評価ベンチマーク

公式GitHubリポジトリ: https://github.com/AfterQuery/vader
Hugging Faceデータセット: https://huggingface.co/datasets/AfterQuery/vader

VADERは、大規模言語モデル（LLM）が実際のソフトウェア脆弱性をどの程度うまく処理できるかを測定するために設計された人間評価ベンチマークです。174件の実世界の脆弱性ケース（オープンソースリポジトリから厳選）を含み、以下の4つのタスクをカバーしています:

• 脆弱性の識別と分類（CWE）
• 根本原因の説明
• パッチ（修復）
• テスト計画の生成

これらのケースは15以上のプログラミング言語（例: JavaScript、Python、Go、C/C++、PHPなど）にわたり、多くの場合マルチファイルコンテキストを含み、実際の開発環境を模倣しています。

📌 主な特徴

• ✅ 174件の実世界の脆弱性: 経験豊富なセキュリティ専門家によって検証・注釈付けされています。
• 🛠️ 多段階評価: 評価、検出、説明、修復、テスト。
• 🌐 言語: JavaScript、Python、PHP、Go、TypeScript、C/C++、HTML/CSS、Shell、Solidity、Java、Rubyなど。
• 🧠 人間による採点ルーブリック: 実際のサイバーセキュリティ慣行に基づいています。スコアは修復品質に50%の重み付けがされています。
• 📊 マルチファイルシナリオ: 75%以上の例が複数のファイルまたは言語を含みます。
• 🚨 深刻度対応: 61%の例が「高」または「重大」の深刻度です。

📦 インストール

リポジトリをクローンして依存関係をインストールします:

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt