
오픈 SAST 벤치마크 코퍼스: 2,938,418개의 균형 잡힌 케이스, 11개 언어, 21개 프레임워크 대상, 242개 출력 카테고리, 231개의 서로 다른 CWE ID. SARIF 2.1.0 출력을 TPR, FPR, Youden's J로 채점합니다.
SAST를 위한 정답 데이터. 머신 리더블 정답 데이터와 결정론적 SARIF 채점기를 갖춘 공개 벤치마크로, 정적 분석 도구가 벤치마크 코드에서 실제 취약점을 얼마나 정확하게 식별하는지, 그리고 안전한 코드를 얼마나 자주 오탐하는지를 측정합니다.
benchproctor.com · 블로그 · Apache-2.0
릴리스 상태
릴리스 2026.11.16이 현재 릴리스입니다. 이는 선별된 릴리스입니다:
- 21개 프레임워크 타깃에 걸쳐 11개 언어로 된 2,142개의 독립 케이스로, 정확히 1,071개가 취약하고 1,071개가 안전합니다;
- 5개 언어로 된 60개의 멀티서비스 애플리케이션으로, 860개의 레이블된 흐름을 포함합니다.
릴리스는 이 선별된 형태로 재개됩니다. 각 릴리스는 작고 새로운 표본으로, 쉬움 및 중간 난이도만을 고정된 프레임워크 및 약점 클래스 목록에서 다룹니다. 이 표본이 추출된 더 큰 코퍼스는 공개되지 않습니다. 이 릴리스에 포함되지 않은 것을 참조하세요.
릴리스 2026.07.22는 철회되었습니다. 감사 결과, 이 릴리스가 기반한 패밀리들에서 레이블 및 현실성 결함이 발견되었습니다. 이 릴리스에 대한 점수를 보고하지 마세요. 정정 및 정답 데이터 분쟁을 참조하세요.
SAST 도구는 측정된 성능만큼만 신뢰할 수 있으며, 그 성능을 측정하려면 정답 데이터가 필요합니다. BenchProctor는 vulnerable 또는 safe로 레이블된 케이스를 제공하므로, 호환되는 SARIF 2.1.0 출력을 채점하고 그 진양성률, 위양성률, 그리고 Youden's J를 계산할 수 있습니다.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
스코어러는 각 발견 사항의 CWE를 SARIF ruleId, 결과 또는 규칙 properties 또는 tags(예: external/cwe/cwe-089), 또는 CWE taxa에서 복원합니다. 이는 구성 없이도 많은 일반적인 SARIF 인코딩을 지원합니다. 도구가 CWE를 출력하지 않는 경우 --match-mode filename을 추가하세요(취약한 파일에 대한 모든 발견 사항이 집계되며, 이는 과잉 플래깅을 보상하므로 기본값을 선호하세요). 동일한 score_sarif.py가 모든 독립 실행형 번들에 포함되어 있습니다. 애플리케이션에는 자체 스코어러가 있습니다. 애플리케이션을 참조하세요.
기존의 많은 공개 SAST 벤치마크는 다음과 같은 구조적 한계 중 하나 이상을 보입니다:
sqli/Test01729_true_positive.java에 위치할 때, 스캐너는 코드를 분석하는 대신 경로를 매칭하여 좋은 점수를 받을 수 있습니다.BenchProctor는 설계상 정확한 케이스 암기와 레이블 누출을 줄이고, 11개 언어를 커버하며, 흐름이 프로세스 경계를 넘는 다중 서비스 애플리케이션을 추가합니다.
| 릴리스 | 2026.11.16 |
| 독립 실행형 케이스 | 2,142개: 취약 1,071개 및 안전 1,071개 |
| 언어 | 11개: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| 프레임워크 대상 | 21개(아래 표 참조) |
| 약점 클래스 | 22개, 22개의 서로 다른 CWE ID에 매핑됨 |
| 샘플링 | 모든 프레임워크 및 클래스 쌍에 대해 취약 3개 + 안전 3개 케이스: 357쌍 |
| 애플리케이션 | 4개의 서비스 그래프에 걸친 60개의 2-서비스 애플리케이션, TypeScript, JavaScript, Python, Java 및 C++ |
| 애플리케이션 흐름 | 860개의 레이블된 흐름: 취약 234개 및 안전 626개 |
| 난이도 | 쉬움 및 중간 |
모든 프레임워크 및 클래스 쌍은 정확히 균형을 이룹니다. Youden's J 기준에서 모든 것을 플래그하는 도구는 참양성률과 거짓양성률이 모두 100%이므로 0점을 받습니다. 일부 케이스는 해당 언어나 프레임워크에서 요구하는 공유 런타임 또는 동반 파일을 사용하며, 이러한 파일은 별도로 채점되지 않습니다.
이것은 선별된 릴리스이며 의도적으로 범위가 좁습니다. 다음은 포함되지 않습니다:
이 릴리스의 점수는 광범위하게 알려진 클래스에 대한 하한 검사로 읽어야 하며, 완전한 평가로 읽어서는 안 됩니다.
| 언어 | 프레임워크 대상 | 대상 | 대상당 클래스 | 사례 |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| 합계 | 21 | 합집합 22 | 2,142 |
프레임워크 대상은 해당 언어에서 발생하는 클래스를 포함합니다. C 및 C++는 메모리 안전성 클래스를 포함하며, 관리형 언어는 포함하지 않습니다.
| 클래스 | CWE | 클래스 | CWE |
|---|---|---|---|
| SQL 인젝션 | CWE-89 | 서버 측 요청 위조 | CWE-918 |
| OS 명령 인젝션 | CWE-78 | 코드 인젝션 | CWE-94 |
| 경로 순회 | CWE-22 | 신뢰할 수 없는 데이터의 역직렬화 | CWE-502 |
| 크로스 사이트 스크립팅 | CWE-79 | XML 외부 엔티티 | CWE-611 |
| LDAP 인젝션 | CWE-90 | 오픈 리다이렉트 | CWE-601 |
| XPath 인젝션 | CWE-643 | 정수 오버플로 | CWE-190 |
| 취약한 암호 | CWE-327 | NULL 포인터 역참조 | CWE-476 |
| 취약한 해시 | CWE-328 | 스택 기반 버퍼 오버플로 | CWE-121 |
| 취약한 난수 | CWE-330 | 힙 기반 버퍼 오버플로 | CWE-122 |
| secure 속성이 없는 쿠키 | CWE-614 | 버퍼 과다 읽기 | CWE-126 |
| 신뢰 경계 위반 | CWE-501 | 해제 후 사용 | CWE-416 |
애플리케이션은 HTTP를 통해 서로를 호출하는 두 개의 서비스로 구성된 작은 프로젝트이며, 각 서비스에는 자체 컨테이너 파일이 있습니다. 하나의 기본 흐름은 진입 서비스에서 시작하여 백엔드 서비스의 sink에서 끝납니다. 그 주위에는 취약한 흐름과 안전한 흐름, 그리고 단순한 안전 모듈 등 추가적인 단일 파일 흐름이 있으며, 모두 레이블이 지정되어 있으므로 도구는 중요한 흐름과 그 주변 코드를 구별해야 합니다. 각 애플리케이션에는 docker-compose.yml도 포함되어 있습니다.
| 서비스 그래프 | 애플리케이션 | 흐름 | 취약 | 안전 |
|---|---|---|---|---|
| Express (TypeScript)에서 Flask로 | 16 | 229 | 62 | 167 |
| NestJS에서 Spring으로 | 16 | 229 | 62 | 167 |
| Express (JavaScript)에서 Django로 | 16 | 229 | 62 | 167 |
| Express (TypeScript)에서 cpp-httplib로 | 12 | 173 | 48 | 125 |
| 합계 | 60 | 860 | 234 | 626 |
애플리케이션은 여섯 개의 클래스(SQL 인젝션, 크로스 사이트 스크립팅, OS 명령어 인젝션, 서버 측 요청 위조, 경로 순회, 역직렬화)와 두 개의 2단계 체인(크로스 사이트 스크립팅으로 이어지는 인증되지 않은 진입점, 그리고 서버 측 요청 위조로 이어지는 검증되지 않은 URL)을 중심으로 구성된다. C++ 그래프는 여덟 개 중 여섯 개를 포함한다. 즉, 역직렬화 애플리케이션과 검증되지 않은 URL 체인이 없다. 애플리케이션의 절반에서는 체인이 완성되고, 나머지 절반에서는 경로상의 제어가 유지된다.
unzip Benchmarks/applications/benchproctor-applications-2026.11.16.zip -d benchproctor-apps
your-tool scan ./benchproctor-apps/nestjs-spring/applications --format sarif -o results.sarif
python ./benchproctor-apps/score_apps.py \
--flows ./benchproctor-apps/nestjs-spring/expectedresults-2026.11.16.csv \
--chains ./benchproctor-apps/nestjs-spring/expectedresults-chains-2026.11.16.csv \
--tool-sarif results.sarif
score_apps.py는 세 가지 수치를 나란히 보고하며 절대 평균을 내지 않습니다. 각 흐름이 올바르게 판정되었는지(Youden's J), 올바르게 판정된 흐름에 대해 올바른 CWE가 명명되었는지, 그리고 도구가 서비스 그래프를 얼마나 재구성했는지입니다.
모든 독립 실행 케이스는 CSV 정답 키에 정답 레이블(vulnerable 또는 safe)을 포함합니다. 도구가 실행된 후, 채점은 혼동 행렬과 하나의 뺄셈을 계산합니다:
detected ignored
vulnerable TP FN
safe FP TN
TPR = TP / (TP + FN) detection rate
FPR = FP / (FP + TN) false-alarm rate
J = TPR - FPR Youden's J (the score)
| 점수 | 의미 |
|---|---|
| +100% | 완벽: 모든 것을 잡아내고 오탐이 전혀 없음 |
| 0% | 측정된 판별력 없음: TPR이 FPR과 같음; 모두 플래그하는 것과 아무것도 플래그하지 않는 것 모두 여기에 해당 |
| -100% | 반전됨: 안전한 코드를 플래그하고 실제 버그를 놓침 |
점수는 두 가지 형태로 보고됩니다. 카테고리 평균 헤드라인 점수는 각 클래스에 동일한 가중치를 부여하여 큰 클래스가 지배하지 못하도록 합니다; 플랫 집계 점수는 모든 케이스에 동일한 가중치를 부여합니다. 각 측면에 세 개의 케이스가 있으므로, 단일 프레임워크와 클래스 쌍은 3분의 1 단위로 움직이므로, 쌍별이 아니라 프레임워크 전반에 걸쳐 언어별 또는 클래스별로 점수를 읽으십시오. 호환되는 SARIF 2.1.0을 출력하는 모든 도구는 점수를 매길 수 있습니다; 두 스코어러 모두 의존성이 없는 단일 표준 라이브러리 Python 파일입니다.
릴리스 전에, 이 릴리스의 모든 소스 파일은 해당 언어의 네이티브 툴체인을 통과했습니다. 샘플링은 없었습니다: