
Corpus de referencia SAST abierto: 2.938.418 casos balanceados, 11 lenguajes, 21 objetivos de framework, 242 categorías emitidas y 231 ID de CWE distintos. Puntúa la salida SARIF 2.1.0 con TPR, FPR y la J de Youden.
Verdad fundamental para SAST. Un benchmark abierto con verdad fundamental legible por máquina y evaluadores SARIF deterministas, para medir con qué precisión una herramienta de análisis estático identifica vulnerabilidades reales en el código del benchmark y con qué frecuencia señala código seguro.
benchproctor.com · blog · Apache-2.0
Estado de la versión
La versión 2026.11.16 es la versión actual. Es una versión curada:
- 2.142 casos independientes en 11 lenguajes y 21 frameworks objetivo, exactamente 1.071 vulnerables y 1.071 seguros;
- 60 aplicaciones multiservicio en cinco lenguajes, que contienen 860 flujos etiquetados.
Las versiones se reanudan en esta forma curada. Cada versión es una muestra pequeña y nueva: solo dificultad fácil y media, sobre una lista fija de frameworks y clases de debilidad. El corpus más amplio del que se extrae no se publica. Consulte Lo que esta versión no contiene.
La versión 2026.07.22 está retirada. Una auditoría encontró defectos de etiquetado y de realismo en las familias a partir de las cuales se construyó. No informe puntuaciones contra ella. Consulte Correcciones y disputas sobre la verdad fundamental.
Una herramienta SAST es tan fiable como su rendimiento medido, y medir ese rendimiento
requiere verdad fundamental. BenchProctor proporciona casos etiquetados como vulnerable o safe, para que pueda puntuar
la salida compatible con SARIF 2.1.0 y calcular su tasa de verdaderos positivos, tasa de falsos positivos y
la J de Youden.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
El evaluador recupera el CWE de cada hallazgo a partir del ruleId del SARIF, de las properties o tags del resultado o de la regla (por ejemplo, external/cwe/cwe-089), o de los taxa de CWE. Esto admite muchas codificaciones SARIF comunes sin necesidad de configuración. Si tu herramienta no emite CWE, añade --match-mode filename (cuenta cualquier hallazgo en un archivo vulnerable; esto premia el exceso de marcado, así que se prefiere el valor predeterminado). El mismo score_sarif.py se incluye en cada paquete autónomo. Las aplicaciones tienen su propio evaluador; consulta Applications.
Muchos benchmarks SAST públicos existentes presentan una o varias de estas limitaciones estructurales:
sqli/Test01729_true_positive.java, un escáner puede obtener una buena puntuación haciendo coincidir la ruta en lugar de analizar el código.BenchProctor reduce por construcción la memorización de casos exactos y la filtración de etiquetas, cubre 11 lenguajes y añade aplicaciones multiservicio cuyos flujos cruzan un límite de proceso.
| Versión | 2026.11.16 |
| Casos autónomos | 2.142: 1.071 vulnerables y 1.071 seguros |
| Lenguajes | 11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| Objetivos de framework | 21 (véase la tabla a continuación) |
| Clases de debilidad | 22, asignadas a 22 ID de CWE distintos |
| Muestreo | 3 casos vulnerables + 3 seguros por cada par de framework y clase: 357 pares |
| Aplicaciones | 60 aplicaciones de dos servicios sobre 4 grafos de servicios, en TypeScript, JavaScript, Python, Java y C++ |
| Flujos de aplicación | 860 flujos etiquetados: 234 vulnerables y 626 seguros |
| Dificultad | fácil y media |
Cada par de framework y clase está equilibrado exactamente. Según la J de Youden, una herramienta que marca todo obtiene 0 porque sus tasas de verdaderos positivos y de falsos positivos son ambas del 100%. Algunos casos usan archivos compartidos de tiempo de ejecución o archivos complementarios requeridos por su lenguaje o framework; estos archivos no se puntúan por separado.
Esta es una versión curada y es deliberadamente limitada. No contiene:
Lee una puntuación en esta versión como una comprobación de base sobre clases ampliamente conocidas, no como una evaluación completa.
| Lenguaje | Frameworks objetivo | Objetivos | Clases por objetivo | Casos |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| Total | 21 | 22 en unión | 2,142 |