Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
BenchProctor — 오픈 SAST 벤치마크 코퍼스: 2,938,418개의 균형 잡힌 케이스, 11개 언어, 21개 프레임워크 대상, 242개 출력 카테고리, 231개의 서로 다른 CWE ID. SARIF 2.1.0 출력을 TPR, FPR, Youden's J로 채점합니다. | Kitploit
도구/GitHubGitHub/theauditortool/benchproctor
Static AnalysisWeb Vulnerability ScannersVulnerability AnalysisCode AnalysisLearning & Education
GitHubtheauditortool/benchproctor

BenchProctor

오픈 SAST 벤치마크 코퍼스: 2,938,418개의 균형 잡힌 케이스, 11개 언어, 21개 프레임워크 대상, 242개 출력 카테고리, 231개의 서로 다른 CWE ID. SARIF 2.1.0 출력을 TPR, FPR, Youden's J로 채점합니다.

저장소 보기
1331일 전아직 검토되지 않음
공유
웹사이트

BenchProctor

SAST를 위한 정답 데이터. 머신 리더블 정답 데이터와 결정론적 SARIF 채점기를 갖춘 공개 벤치마크로, 정적 분석 도구가 벤치마크 코드에서 실제 취약점을 얼마나 정확하게 식별하는지, 그리고 안전한 코드를 얼마나 자주 오탐하는지를 측정합니다.

benchproctor.com · 블로그 · Apache-2.0

릴리스 상태

릴리스 2026.11.16이 현재 릴리스입니다. 이는 선별된 릴리스입니다:

  • 21개 프레임워크 타깃에 걸쳐 11개 언어로 된 2,142개의 독립 케이스로, 정확히 1,071개가 취약하고 1,071개가 안전합니다;
  • 5개 언어로 된 60개의 멀티서비스 애플리케이션으로, 860개의 레이블된 흐름을 포함합니다.

릴리스는 이 선별된 형태로 재개됩니다. 각 릴리스는 작고 새로운 표본으로, 쉬움 및 중간 난이도만을 고정된 프레임워크 및 약점 클래스 목록에서 다룹니다. 이 표본이 추출된 더 큰 코퍼스는 공개되지 않습니다. 이 릴리스에 포함되지 않은 것을 참조하세요.

릴리스 2026.07.22는 철회되었습니다. 감사 결과, 이 릴리스가 기반한 패밀리들에서 레이블 및 현실성 결함이 발견되었습니다. 이 릴리스에 대한 점수를 보고하지 마세요. 정정 및 정답 데이터 분쟁을 참조하세요.

SAST 도구는 측정된 성능만큼만 신뢰할 수 있으며, 그 성능을 측정하려면 정답 데이터가 필요합니다. BenchProctor는 vulnerable 또는 safe로 레이블된 케이스를 제공하므로, 호환되는 SARIF 2.1.0 출력을 채점하고 그 진양성률, 위양성률, 그리고 Youden's J를 계산할 수 있습니다.

빠른 시작

# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java

# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif

# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
  ./benchproctor-java/spring/expectedresults-2026.11.16.csv

# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J

스코어러는 각 발견 사항의 CWE를 SARIF ruleId, 결과 또는 규칙 properties 또는 tags(예: external/cwe/cwe-089), 또는 CWE taxa에서 복원합니다. 이는 구성 없이도 많은 일반적인 SARIF 인코딩을 지원합니다. 도구가 CWE를 출력하지 않는 경우 --match-mode filename을 추가하세요(취약한 파일에 대한 모든 발견 사항이 집계되며, 이는 과잉 플래깅을 보상하므로 기본값을 선호하세요). 동일한 score_sarif.py가 모든 독립 실행형 번들에 포함되어 있습니다. 애플리케이션에는 자체 스코어러가 있습니다. 애플리케이션을 참조하세요.

왜 또 다른 벤치마크인가

기존의 많은 공개 SAST 벤치마크는 다음과 같은 구조적 한계 중 하나 이상을 보입니다:

  • 고정되고 변하지 않는 케이스. 사람이 작성한 정적 케이스 세트는 시간이 지남에 따라 벤치마크 특화 튜닝을 조장하여, 결과가 보지 못한 코드로의 일반화를 덜 반영하게 만들 수 있습니다.
  • 파일명에 인코딩된 레이블. 테스트가 sqli/Test01729_true_positive.java에 위치할 때, 스캐너는 코드를 분석하는 대신 경로를 매칭하여 좋은 점수를 받을 수 있습니다.
  • 제한된 구조적 커버리지. 많은 스위트가 하나의 언어와 단일 파일 발견 사항에 집중하며, 서비스 경계를 넘는 흐름을 테스트하지 않습니다.

BenchProctor는 설계상 정확한 케이스 암기와 레이블 누출을 줄이고, 11개 언어를 커버하며, 흐름이 프로세스 경계를 넘는 다중 서비스 애플리케이션을 추가합니다.

이 릴리스에 포함된 내용

릴리스2026.11.16
독립 실행형 케이스2,142개: 취약 1,071개 및 안전 1,071개
언어11개: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++
프레임워크 대상21개(아래 표 참조)
약점 클래스22개, 22개의 서로 다른 CWE ID에 매핑됨
샘플링모든 프레임워크 및 클래스 쌍에 대해 취약 3개 + 안전 3개 케이스: 357쌍
애플리케이션4개의 서비스 그래프에 걸친 60개의 2-서비스 애플리케이션, TypeScript, JavaScript, Python, Java 및 C++
애플리케이션 흐름860개의 레이블된 흐름: 취약 234개 및 안전 626개
난이도쉬움 및 중간

모든 프레임워크 및 클래스 쌍은 정확히 균형을 이룹니다. Youden's J 기준에서 모든 것을 플래그하는 도구는 참양성률과 거짓양성률이 모두 100%이므로 0점을 받습니다. 일부 케이스는 해당 언어나 프레임워크에서 요구하는 공유 런타임 또는 동반 파일을 사용하며, 이러한 파일은 별도로 채점되지 않습니다.

이 릴리스에 포함되지 않은 내용

이것은 선별된 릴리스이며 의도적으로 범위가 좁습니다. 다음은 포함되지 않습니다:

  • 비효과적인 보호 장치를 중심으로 구축된 케이스. 이 릴리스에서 취약한 케이스에는 보호 장치가 없고, 안전한 케이스에는 작동하는 보호 장치가 있습니다. 어떤 보호 장치의 존재를 안전성의 증거로 취급하는 도구는 여기서 불이익을 받지 않습니다.
  • 가장 깊은 전파 패턴. 흐름은 직접 및 중간 깊이 전파만 사용합니다.
  • 이 페이지의 목록을 넘어서는 프레임워크, 약점 클래스 및 애플리케이션 형태.

이 릴리스의 점수는 광범위하게 알려진 클래스에 대한 하한 검사로 읽어야 하며, 완전한 평가로 읽어서는 안 됩니다.

구축 방식

  • 조합적이며, 수작업으로 작성되지 않음. 각 클래스는 네 가지 축의 해당 구성 요소를 사용하여 보안 관련 동작을 모델링합니다: 신뢰할 수 없는 입력이 들어오는 위치(source), 그것이 이동하는 방식(propagator), 그것을 무력화할 수 있는 것(sanitizer 또는 safeguard), 그리고 그것이 도달하는 위험한 작업(sink). 취약한 사례는 safeguard를 생략하며, 그에 대응하는 안전한 사례는 효과적인 safeguard를 적용합니다. 생성되는 모든 사례는 실제 언어 및 프레임워크 API를 사용하여 유효하고 분석 가능한 경로로 제한됩니다.
  • 설계상 합성됨. 코퍼스는 점수와 관련된 보안 속성을 의도적으로 분리합니다. 개별 사례는 실제 API를 사용하지만 완전한 프로덕션 기능을 나타내도록 의도된 것은 아닙니다.
  • 구성상 누출 방지. 생성된 파일에는 주석, CWE 태그, 카테고리 이름 또는 레이블을 담은 식별자가 없습니다. 파일 ID는 섞여 있으므로 파일 이름이 사례의 클래스나 레이블을 인코딩하지 않습니다. CSV 정답 키만이 공개된 레이블 출처입니다.
  • 시드 순환. 각 릴리스는 고유한 시드로 추출됩니다. 새 릴리스는 동일한 언어, 프레임워크, 클래스, 샘플링 및 난이도를 유지하면서 서로 다른 조합과 식별자를 생성합니다. 이는 정확한 파일 및 파일 이름 암기의 유용성을 제한하며, 릴리스 간 점수 비교 가능성을 지원하도록 설계되었습니다. 릴리스 간 구조적 일반화는 여전히 가능하며 예상되는 사항입니다.

언어 및 프레임워크

언어프레임워크 대상대상대상당 클래스사례
JavaSpring, Jakarta EE218216
PythonFlask, Django, FastAPI318324
GoGin, net/http215180
RustActix-web, Axum215180
TypeScriptNestJS, Express218216
JavaScriptExpress, Koa218216
PHPLaravel, Symfony218216
RubyRails, Sinatra217204
C++cpp-httplib, standalone219228
Cstandalone11696
Bashstandalone11166
합계21합집합 222,142

프레임워크 대상은 해당 언어에서 발생하는 클래스를 포함합니다. C 및 C++는 메모리 안전성 클래스를 포함하며, 관리형 언어는 포함하지 않습니다.

취약점 클래스

클래스CWE클래스CWE
SQL 인젝션CWE-89서버 측 요청 위조CWE-918
OS 명령 인젝션CWE-78코드 인젝션CWE-94
경로 순회CWE-22신뢰할 수 없는 데이터의 역직렬화CWE-502
크로스 사이트 스크립팅CWE-79XML 외부 엔티티CWE-611
LDAP 인젝션CWE-90오픈 리다이렉트CWE-601
XPath 인젝션CWE-643정수 오버플로CWE-190
취약한 암호CWE-327NULL 포인터 역참조CWE-476
취약한 해시CWE-328스택 기반 버퍼 오버플로CWE-121
취약한 난수CWE-330힙 기반 버퍼 오버플로CWE-122
secure 속성이 없는 쿠키CWE-614버퍼 과다 읽기CWE-126
신뢰 경계 위반CWE-501해제 후 사용CWE-416

애플리케이션

애플리케이션은 HTTP를 통해 서로를 호출하는 두 개의 서비스로 구성된 작은 프로젝트이며, 각 서비스에는 자체 컨테이너 파일이 있습니다. 하나의 기본 흐름은 진입 서비스에서 시작하여 백엔드 서비스의 sink에서 끝납니다. 그 주위에는 취약한 흐름과 안전한 흐름, 그리고 단순한 안전 모듈 등 추가적인 단일 파일 흐름이 있으며, 모두 레이블이 지정되어 있으므로 도구는 중요한 흐름과 그 주변 코드를 구별해야 합니다. 각 애플리케이션에는 docker-compose.yml도 포함되어 있습니다.

서비스 그래프애플리케이션흐름취약안전
Express (TypeScript)에서 Flask로1622962167
NestJS에서 Spring으로1622962167
Express (JavaScript)에서 Django로1622962167
Express (TypeScript)에서 cpp-httplib로1217348125
합계60860234626

애플리케이션은 여섯 개의 클래스(SQL 인젝션, 크로스 사이트 스크립팅, OS 명령어 인젝션, 서버 측 요청 위조, 경로 순회, 역직렬화)와 두 개의 2단계 체인(크로스 사이트 스크립팅으로 이어지는 인증되지 않은 진입점, 그리고 서버 측 요청 위조로 이어지는 검증되지 않은 URL)을 중심으로 구성된다. C++ 그래프는 여덟 개 중 여섯 개를 포함한다. 즉, 역직렬화 애플리케이션과 검증되지 않은 URL 체인이 없다. 애플리케이션의 절반에서는 체인이 완성되고, 나머지 절반에서는 경로상의 제어가 유지된다.

unzip Benchmarks/applications/benchproctor-applications-2026.11.16.zip -d benchproctor-apps
your-tool scan ./benchproctor-apps/nestjs-spring/applications --format sarif -o results.sarif
python ./benchproctor-apps/score_apps.py \
  --flows  ./benchproctor-apps/nestjs-spring/expectedresults-2026.11.16.csv \
  --chains ./benchproctor-apps/nestjs-spring/expectedresults-chains-2026.11.16.csv \
  --tool-sarif results.sarif

score_apps.py는 세 가지 수치를 나란히 보고하며 절대 평균을 내지 않습니다. 각 흐름이 올바르게 판정되었는지(Youden's J), 올바르게 판정된 흐름에 대해 올바른 CWE가 명명되었는지, 그리고 도구가 서비스 그래프를 얼마나 재구성했는지입니다.

채점

모든 독립 실행 케이스는 CSV 정답 키에 정답 레이블(vulnerable 또는 safe)을 포함합니다. 도구가 실행된 후, 채점은 혼동 행렬과 하나의 뺄셈을 계산합니다:

                detected   ignored
 vulnerable        TP         FN
 safe              FP         TN

 TPR  = TP / (TP + FN)     detection rate
 FPR  = FP / (FP + TN)     false-alarm rate
 J    = TPR - FPR          Youden's J  (the score)
점수의미
+100%완벽: 모든 것을 잡아내고 오탐이 전혀 없음
0%측정된 판별력 없음: TPR이 FPR과 같음; 모두 플래그하는 것과 아무것도 플래그하지 않는 것 모두 여기에 해당
-100%반전됨: 안전한 코드를 플래그하고 실제 버그를 놓침

점수는 두 가지 형태로 보고됩니다. 카테고리 평균 헤드라인 점수는 각 클래스에 동일한 가중치를 부여하여 큰 클래스가 지배하지 못하도록 합니다; 플랫 집계 점수는 모든 케이스에 동일한 가중치를 부여합니다. 각 측면에 세 개의 케이스가 있으므로, 단일 프레임워크와 클래스 쌍은 3분의 1 단위로 움직이므로, 쌍별이 아니라 프레임워크 전반에 걸쳐 언어별 또는 클래스별로 점수를 읽으십시오. 호환되는 SARIF 2.1.0을 출력하는 모든 도구는 점수를 매길 수 있습니다; 두 스코어러 모두 의존성이 없는 단일 표준 라이브러리 Python 파일입니다.

레이블 검증 방법

릴리스 전에, 이 릴리스의 모든 소스 파일은 해당 언어의 네이티브 툴체인을 통과했습니다. 샘플링은 없었습니다:

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    491
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    462
  • 3

    opencti

    opencti-platform/opencti

    오픈 사이버 위협 인텔리전스 플랫폼

    345
  • 4

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    340
  • 5

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    306
  • 6

    estorides

    grisuno/estorides

    99개 이상의 무료 OSINT 소스를 병렬로 집계하고, 엔티티를 지식 그래프로 해석하며, LLM 지원 분석과 함께 STIX 2.1, MISP 또는 GraphML로 내보냅니다.

    292

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →