VADER: 취약점 평가, 탐지, 설명 및 수정을 위한 인간 평가 벤치마크

공식 GitHub 저장소: https://github.com/AfterQuery/vader
Hugging Face 데이터셋: https://huggingface.co/datasets/AfterQuery/vader

VADER는 인간 평가(인간 평가 기준) 벤치마크로서, 대규모 언어 모델(LLM)이 실제 소프트웨어 취약점을 얼마나 잘 처리하는지 측정하도록 설계되었습니다. 이 벤치마크는 174개의 실제 취약점 사례(오픈소스 저장소에서 선별)를 포함하며, 다음 네 가지 작업을 다룹니다:

• 취약점 식별 및 분류(CWE)
• 근본 원인 설명
• 패치(수정)
• 테스트 계획 생성

이 사례들은 15개 이상의 프로그래밍 언어(예: JavaScript, Python, Go, C/C++, PHP 등)에 걸쳐 있으며, 실제 개발 환경을 모방한 다중 파일 컨텍스트를 자주 포함합니다.

📌 주요 기능

• ✅ 174개의 실제 취약점: 숙련된 보안 전문가가 검증하고 주석을 달았습니다.
• 🛠️ 다단계 평가: 평가, 탐지, 설명, 수정 및 테스트.
• 🌐 언어: JavaScript, Python, PHP, Go, TypeScript, C/C++, HTML/CSS, Shell, Solidity, Java, Ruby 등.
• 🧠 인간 채점 루브릭: 실제 사이버 보안 관행에 기반합니다. 수정 품질에 50% 가중치가 적용됩니다.
• 📊 다중 파일 시나리오: 예제의 75% 이상이 여러 파일 또는 언어를 포함합니다.
• 🚨 심각도 인식: 예제의 61%가 "높음(High)" 또는 "치명적(Critical)" 심각도입니다.

📦 설치

저장소를 클론하고 의존성을 설치합니다:

git clone https://github.com/AfterQuery/vader.git
cd vader
pip install -r requirements.txt