
Corpus de benchmark SAST aberto: 2.938.418 casos balanceados, 11 linguagens, 21 alvos de framework, 242 categorias emitidas e 231 IDs CWE distintos. Avalie a saída SARIF 2.1.0 com TPR, FPR e J de Youden.
Verdade fundamental para SAST. Um benchmark aberto com verdade fundamental legível por máquina e pontuadores SARIF determinísticos, para medir com que precisão uma ferramenta de análise estática identifica vulnerabilidades reais em código de benchmark e com que frequência sinaliza código seguro.
benchproctor.com · blog · Apache-2.0
Status da versão
A versão 2026.11.16 é a versão atual. É uma versão curada:
- 2.142 casos independentes em 11 linguagens, abrangendo 21 alvos de frameworks, exatamente 1.071 vulneráveis e 1.071 seguros;
- 60 aplicações multi-serviço em cinco linguagens, contendo 860 fluxos rotulados.
As versões retomam nesta forma curada. Cada versão é uma amostra pequena e nova: apenas dificuldade fácil e média, sobre uma lista fixa de frameworks e classes de fraqueza. O corpus maior do qual ela é extraída não é publicado. Consulte O que esta versão não contém.
A versão 2026.07.22 está retirada. Uma auditoria encontrou defeitos de rotulagem e de realismo nas famílias a partir das quais ela foi construída. Não reporte pontuações contra ela. Consulte Correções e disputas sobre a verdade fundamental.
Uma ferramenta SAST só é tão confiável quanto seu desempenho medido, e medir esse desempenho
requer verdade fundamental. O BenchProctor fornece casos rotulados como vulnerable ou safe, para que você possa pontuar
saídas SARIF 2.1.0 compatíveis e calcular sua taxa de verdadeiros positivos, taxa de falsos positivos e
o J de Youden.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
O scorer recupera o CWE de cada achado a partir do ruleId do SARIF, das properties ou tags do resultado ou da regra (por exemplo, external/cwe/cwe-089), ou dos taxa de CWE. Isso suporta muitas codificações SARIF comuns sem configuração. Se a sua ferramenta não emitir CWE, adicione --match-mode filename (qualquer achado em um arquivo vulnerável conta; isso recompensa o excesso de sinalizações, então prefira o padrão). O mesmo score_sarif.py acompanha cada pacote autônomo. As aplicações têm seu próprio scorer; consulte Applications.
Muitos benchmarks SAST públicos existentes exibem uma ou mais destas limitações estruturais:
sqli/Test01729_true_positive.java, um scanner pode obter uma boa pontuação correspondendo o caminho em vez de
analisar o código.O BenchProctor reduz a memorização de casos exatos e o vazamento de rótulos por construção, cobre 11 linguagens e adiciona aplicações multi-serviço cujos fluxos atravessam um limite de processo.
| Versão | 2026.11.16 |
| Casos autônomos | 2.142: 1.071 vulneráveis e 1.071 seguros |
| Linguagens | 11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| Alvos de framework | 21 (veja a tabela abaixo) |
| Classes de fraqueza | 22, mapeadas para 22 IDs de CWE distintos |
| Amostragem | 3 casos vulneráveis + 3 casos seguros para cada par de framework e classe: 357 pares |
| Aplicações | 60 aplicações de dois serviços sobre 4 grafos de serviços, em TypeScript, JavaScript, Python, Java e C++ |
| Fluxos de aplicação | 860 fluxos rotulados: 234 vulneráveis e 626 seguros |
| Dificuldade | fácil e média |
Cada par de framework e classe é balanceado exatamente. Sob o J de Youden, uma ferramenta que sinaliza tudo pontua 0 porque suas taxas de verdadeiros positivos e falsos positivos são ambas 100%. Alguns casos usam arquivos de runtime compartilhado ou arquivos complementares exigidos por sua linguagem ou framework; esses arquivos não são pontuados separadamente.
Esta é uma versão curada e é deliberadamente restrita. Ela não contém:
Leia uma pontuação nesta versão como uma verificação de piso sobre classes amplamente conhecidas, não como uma avaliação completa.
| Linguagem | Alvos de framework | Alvos | Classes por alvo | Casos |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| Total | 21 | 22 na união | 2,142 |
Um alvo de framework carrega as classes que ocorrem em sua linguagem. C e C++ incluem classes de segurança de memória; as linguagens gerenciadas não incluem.