
Offener SAST-Benchmark-Korpus: 2.938.418 ausgewogene Fälle, 11 Sprachen, 21 Framework-Ziele, 242 ausgegebene Kategorien und 231 verschiedene CWE-IDs. Bewerte die SARIF-2.1.0-Ausgabe mit TPR, FPR und Youden's J.
Ground Truth für SAST. Ein offener Benchmark mit maschinenlesbarer Ground Truth und deterministischen SARIF-Scorern, um zu messen, wie genau ein statisches Analysetool echte Schwachstellen in Benchmark-Code identifiziert und wie oft es sicheren Code fälschlich markiert.
benchproctor.com · Blog · Apache-2.0
Release-Status
Release 2026.11.16 ist das aktuelle Release. Es ist ein kuratiertes Release:
- 2.142 eigenständige Fälle in 11 Sprachen über 21 Framework-Ziele hinweg, exakt 1.071 verwundbar und 1.071 sicher;
- 60 Multi-Service-Anwendungen in fünf Sprachen mit 860 gelabelten Flows.
Releases werden in dieser kuratierten Form fortgesetzt. Jedes Release ist eine kleine, frische Stichprobe: nur einfache und mittlere Schwierigkeit, auf einer festen Liste von Frameworks und Schwachstellenklassen. Der größere Korpus, aus dem sie gezogen wird, wird nicht veröffentlicht. Siehe Was dieses Release nicht enthält.
Release 2026.07.22 ist zurückgezogen. Eine Prüfung ergab Label- und Realismus-Defekte in den Familien, aus denen es aufgebaut war. Melden Sie keine Scores dagegen. Siehe Korrekturen und Streitfälle zur Ground Truth.
Ein SAST-Tool ist nur so vertrauenswürdig wie seine gemessene Leistung, und diese Leistung zu messen
erfordert Ground Truth. BenchProctor stellt Fälle bereit, die als vulnerable oder safe gelabelt sind, sodass Sie
kompatible SARIF-2.1.0-Ausgaben bewerten und deren True-Positive-Rate, False-Positive-Rate und
Youden's J berechnen können.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
Der Scorer ermittelt für jeden Fund die CWE aus der SARIF-ruleId, den properties oder tags des Ergebnisses oder der Regel (zum Beispiel external/cwe/cwe-089) oder aus CWE-taxa. Dies unterstützt viele gängige SARIF-Kodierungen ohne Konfiguration. Wenn Ihr Tool keine CWE ausgibt, fügen Sie --match-mode filename hinzu (jeder Fund in einer verwundbaren Datei zählt; dies belohnt Übermarkierung, daher ist der Standard vorzuziehen). Dasselbe score_sarif.py ist in jedem Standalone-Bundle enthalten. Die Anwendungen haben ihren eigenen Scorer; siehe Applications.
Viele bestehende öffentliche SAST-Benchmarks weisen eine oder mehrere dieser strukturellen Einschränkungen auf:
sqli/Test01729_true_positive.java liegt, kann ein Scanner gut abschneiden, indem er den Pfad abgleicht, statt den Code zu analysieren.BenchProctor reduziert das Auswendiglernen exakter Fälle und Label-Leckage durch Konstruktion, deckt 11 Sprachen ab und ergänzt Multi-Service-Anwendungen, deren Datenflüsse eine Prozessgrenze überschreiten.
| Release | 2026.11.16 |
| Standalone-Fälle | 2.142: 1.071 verwundbar und 1.071 sicher |
| Sprachen | 11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| Framework-Ziele | 21 (siehe die Tabelle unten) |
| Schwachstellenklassen | 22, abgebildet auf 22 verschiedene CWE-IDs |
| Stichprobenziehung | 3 verwundbare + 3 sichere Fälle für jedes Framework- und Klassenpaar: 357 Paare |
| Anwendungen | 60 Zwei-Service-Anwendungen über 4 Service-Graphen, in TypeScript, JavaScript, Python, Java und C++ |
| Anwendungsflüsse | 860 gelabelte Flüsse: 234 verwundbar und 626 sicher |
| Schwierigkeit | einfach und mittel |
Jedes Framework- und Klassenpaar ist exakt ausbalanciert. Unter Youden's J erzielt ein Tool, das alles markiert, einen Wert von 0, da seine Richtig-Positiv- und Falsch-Positiv-Raten beide 100 % betragen. Einige Fälle verwenden gemeinsame Laufzeit- oder Begleitdateien, die von ihrer Sprache oder ihrem Framework benötigt werden; diese Dateien werden nicht separat bewertet.
Dies ist ein kuratiertes Release, und es ist bewusst eng gefasst. Es enthält nicht:
Lesen Sie eine Bewertung zu diesem Release als eine Mindestprüfung für allgemein bekannte Klassen, nicht als vollständige Bewertung.