
Corpus di benchmark SAST aperto: 2.938.418 casi bilanciati, 11 linguaggi, 21 target di framework, 242 categorie emesse e 231 ID CWE distinti. Valuta l'output SARIF 2.1.0 con TPR, FPR e J di Youden.
Ground truth per SAST. Un benchmark aperto con ground truth leggibile dalla macchina e scorer SARIF deterministici, per misurare con quanta accuratezza uno strumento di analisi statica identifica le vulnerabilità reali nel codice del benchmark e con quale frequenza segnala codice sicuro.
benchproctor.com · blog · Apache-2.0
Stato della release
La release 2026.11.16 è la release corrente. È una release curata:
- 2.142 casi autonomi in 11 linguaggi su 21 framework target, esattamente 1.071 vulnerabili e 1.071 sicuri;
- 60 applicazioni multi-servizio in cinque linguaggi, contenenti 860 flussi etichettati.
Le release riprendono in questa forma curata. Ogni release è un piccolo campione nuovo: solo difficoltà facile e media, su un elenco fisso di framework e classi di debolezza. Il corpus più ampio da cui è estratto non è pubblicato. Vedi Cosa non contiene questa release.
La release 2026.07.22 è ritirata. Un audit ha rilevato difetti nelle etichette e nel realismo nelle famiglie da cui era stata costruita. Non riportare punteggi riferiti a essa. Vedi Correzioni e contestazioni sul ground truth.
Uno strumento SAST è affidabile solo quanto la sua performance misurata, e misurare tale performance
richiede un ground truth. BenchProctor fornisce casi etichettati vulnerable o safe, così puoi valutare
output SARIF 2.1.0 compatibili e calcolarne il tasso di veri positivi, il tasso di falsi positivi e la
J di Youden.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
Lo scorer recupera il CWE di ogni finding dal ruleId del SARIF, dalle properties o dai
tags del risultato o della regola (ad esempio external/cwe/cwe-089), oppure dai taxa CWE. Questo supporta molte codifiche SARIF
comuni senza configurazione. Se il tuo strumento non emette alcun CWE, aggiungi --match-mode filename (qualsiasi
finding su un file vulnerabile conta; questo premia il sovra-segnalare, quindi preferisci il default). Lo stesso
score_sarif.py è incluso in ogni bundle standalone. Le applicazioni hanno il proprio scorer; vedi
Applications.
Molti benchmark SAST pubblici esistenti presentano una o più di queste limitazioni strutturali:
sqli/Test01729_true_positive.java, uno scanner può ottenere un buon punteggio confrontando il percorso anziché
analizzare il codice.BenchProctor riduce per costruzione la memorizzazione di casi esatti e la fuga di etichette, copre 11 linguaggi e aggiunge applicazioni multi-servizio i cui flussi attraversano un confine di processo.
| Release | 2026.11.16 |
| Casi standalone | 2.142: 1.071 vulnerabili e 1.071 sicuri |
| Linguaggi | 11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| Target di framework | 21 (vedi la tabella sottostante) |
| Classi di debolezza | 22, mappate su 22 ID CWE distinti |
| Campionamento | 3 casi vulnerabili + 3 casi sicuri per ogni coppia framework e classe: 357 coppie |
| Applicazioni | 60 applicazioni a due servizi su 4 grafi di servizi, in TypeScript, JavaScript, Python, Java e C++ |
| Flussi delle applicazioni | 860 flussi etichettati: 234 vulnerabili e 626 sicuri |
| Difficoltà | facile e media |
Ogni coppia framework e classe è bilanciata esattamente. Secondo la J di Youden, uno strumento che segnala tutto ottiene 0 perché i suoi tassi di veri positivi e falsi positivi sono entrambi al 100%. Alcuni casi utilizzano file runtime condivisi o companion richiesti dal loro linguaggio o framework; questi file non sono valutati separatamente.
Questa è una release curata ed è deliberatamente ristretta. Non contiene:
Leggi un punteggio su questa release come una verifica del livello minimo su classi ampiamente note, non come una valutazione completa.
| Linguaggio | Framework target | Target | Classi per target | Casi |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| Totale | 21 | 22 in unione | 2,142 |
Un framework target contiene le classi che si verificano nel suo linguaggio. C e C++ includono classi di sicurezza della memoria; i linguaggi gestiti no.