
Corpus de référence SAST ouvert : 2 938 418 cas équilibrés, 11 langages, 21 cibles de frameworks, 242 catégories émises et 231 identifiants CWE distincts. Évaluez la sortie SARIF 2.1.0 avec le TPR, le FPR et le J de Youden.
Vérité de référence pour la SAST. Un benchmark ouvert avec une vérité de référence lisible par machine et des scoreurs SARIF déterministes, pour mesurer avec quelle précision un outil d'analyse statique identifie les vraies vulnérabilités dans le code du benchmark et à quelle fréquence il signale du code sûr.
benchproctor.com · blog · Apache-2.0
Statut de la version
La version 2026.11.16 est la version actuelle. Il s'agit d'une version sélectionnée :
- 2 142 cas autonomes dans 11 langages couvrant 21 frameworks cibles, exactement 1 071 vulnérables et 1 071 sûrs ;
- 60 applications multi-services dans cinq langages, contenant 860 flux étiquetés.
Les versions reprennent sous cette forme sélectionnée. Chaque version est un petit tirage frais : difficulté facile et moyenne uniquement, sur une liste fixe de frameworks et de classes de faiblesses. Le corpus plus vaste dont elle est tirée n'est pas publié. Voir Ce que cette version ne contient pas.
La version 2026.07.22 est retirée. Un audit a révélé des défauts d'étiquetage et de réalisme dans les familles à partir desquelles elle a été construite. Ne rapportez pas de scores contre celle-ci. Voir Corrections et contestations de la vérité de référence.
Un outil SAST n'est digne de confiance qu'à hauteur de ses performances mesurées, et mesurer ces performances nécessite une vérité de référence. BenchProctor fournit des cas étiquetés vulnerable ou safe, afin que vous puissiez scorer une sortie SARIF 2.1.0 compatible et calculer son taux de vrais positifs, son taux de faux positifs et le J de Youden.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
Le scorer récupère le CWE de chaque constatation à partir du ruleId SARIF, des properties ou tags du résultat ou de la règle (par exemple external/cwe/cwe-089), ou des taxa CWE. Cela prend en charge de nombreux encodages SARIF courants sans configuration. Si votre outil n'émet aucun CWE, ajoutez --match-mode filename (tout constat sur un fichier vulnérable compte ; cela récompense le sur-signalement, donc préférez la valeur par défaut). Le même score_sarif.py est fourni dans chaque bundle autonome. Les applications ont leur propre scorer ; voir Applications.
De nombreux benchmarks SAST publics existants présentent une ou plusieurs de ces limitations structurelles :
sqli/Test01729_true_positive.java, un scanner peut obtenir un bon score en faisant correspondre le chemin plutôt qu'en analysant le code.BenchProctor réduit la mémorisation de cas exacts et la fuite d'étiquettes par construction, couvre 11 langages et ajoute des applications multi-services dont les flux traversent une frontière de processus.
| Version | 2026.11.16 |
| Cas autonomes | 2 142 : 1 071 vulnérables et 1 071 sûrs |
| Langages | 11 : Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| Cibles de frameworks | 21 (voir le tableau ci-dessous) |
| Classes de faiblesses | 22, mappées à 22 identifiants CWE distincts |
| Échantillonnage | 3 cas vulnérables + 3 cas sûrs pour chaque paire framework et classe : 357 paires |
| Applications | 60 applications à deux services sur 4 graphes de services, en TypeScript, JavaScript, Python, Java et C++ |
| Flux d'applications | 860 flux étiquetés : 234 vulnérables et 626 sûrs |
| Difficulté | facile et moyenne |
Chaque paire framework et classe est exactement équilibrée. Selon le J de Youden, un outil qui signale tout obtient un score de 0, car ses taux de vrais positifs et de faux positifs sont tous deux de 100 %. Certains cas utilisent des fichiers d'exécution partagés ou des fichiers compagnons requis par leur langage ou framework ; ces fichiers ne sont pas notés séparément.
Il s'agit d'une version sélectionnée, et elle est délibérément restreinte. Elle ne contient pas :
Interprétez un score sur cette version comme une vérification du plancher sur des classes largement connues, et non comme une évaluation complète.