
Открытый корпус бенчмарков SAST: 2 938 418 сбалансированных случаев, 11 языков, 21 целевой фреймворк, 242 выделенные категории и 231 уникальный идентификатор CWE. Оценивайте вывод SARIF 2.1.0 с помощью TPR, FPR и индекса Юдена (Youden's J).
Эталонная истина для SAST. Открытый бенчмарк с машиночитаемой эталонной истиной и детерминированными оценщиками SARIF для измерения того, насколько точно инструмент статического анализа выявляет истинные уязвимости в коде бенчмарка и как часто он помечает безопасный код.
benchproctor.com · blog · Apache-2.0
Статус релиза
Релиз 2026.11.16 является текущим релизом. Это курируемый релиз:
- 2 142 отдельных случая на 11 языках в 21 целевом фреймворке, ровно 1 071 уязвимый и 1 071 безопасный;
- 60 многосервисных приложений на пяти языках, содержащих 860 размеченных потоков.
Релизы возобновляются в этой курируемой форме. Каждый релиз — это небольшая, свежая выборка: только лёгкая и средняя сложность, по фиксированному списку фреймворков и классов слабостей. Более крупный корпус, из которого она взята, не публикуется. См. Что этот релиз не содержит.
Релиз 2026.07.22 отозван. Аудит выявил дефекты разметки и реалистичности в семействах, из которых он был построен. Не сообщайте оценки по нему. См. Исправления и споры об эталонной истине.
Инструмент SAST заслуживает доверия лишь настолько, насколько надёжны его измеренные показатели, а для измерения этих показателей
требуется эталонная истина. BenchProctor предоставляет случаи, помеченные как vulnerable или safe, чтобы вы могли оценивать
совместимый вывод SARIF 2.1.0 и вычислять его долю истинно положительных, долю ложноположительных и
J-статистику Юдена.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
Скорер восстанавливает CWE каждой находки из SARIF ruleId, properties результата или правила либо
tags (например, external/cwe/cwe-089), либо из CWE taxa. Это поддерживает многие распространённые
SARIF-кодировки без конфигурации. Если ваш инструмент не выдаёт CWE, добавьте --match-mode filename (любая
находка в уязвимом файле засчитывается; это поощряет избыточные срабатывания, поэтому предпочтителен режим по
умолчанию). Тот же score_sarif.py поставляется внутри каждого автономного пакета. У приложений свой скорер; см.
Приложения.
Многие существующие публичные бенчмарки SAST обладают одним или несколькими из следующих структурных ограничений:
sqli/Test01729_true_positive.java, сканер может показать хороший результат, сопоставляя путь, а не
анализируя код.BenchProctor снижает запоминание точных кейсов и утечку меток по построению, охватывает 11 языков и добавляет многосервисные приложения, потоки которых пересекают границу процесса.
| Релиз | 2026.11.16 |
| Автономные кейсы | 2 142: 1 071 уязвимый и 1 071 безопасный |
| Языки | 11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| Цели фреймворков | 21 (см. таблицу ниже) |
| Классы слабостей | 22, сопоставленные с 22 различными CWE ID |
| Выборка | 3 уязвимых + 3 безопасных кейса для каждой пары фреймворк-класс: 357 пар |
| Приложения | 60 двухсервисных приложений по 4 графам сервисов, на TypeScript, JavaScript, Python, Java и C++ |
| Потоки приложений | 860 размеченных потоков: 234 уязвимых и 626 безопасных |
| Сложность | лёгкая и средняя |
Каждая пара фреймворк-класс сбалансирована точно. По Youden's J инструмент, помечающий всё, получает 0, поскольку его доли истинно положительных и ложноположительных результатов обе равны 100%. Некоторые кейсы используют общие runtime- или сопутствующие файлы, требуемые их языком или фреймворком; эти файлы не оцениваются отдельно.
Это курируемый релиз, и он намеренно узок. Он не содержит:
Читайте оценку на этом релизе как проверку нижней границы по широко известным классам, а не как полную оценку.
| Язык | Целевые фреймворки | Цели | Классов на цель | Случаев |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| Итого | 21 | 22 в объединении | 2,142 |
Целевой фреймворк содержит классы, встречающиеся в его языке. C и C++ включают классы безопасности памяти; управляемые языки — нет.
Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.