Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
BenchProctor — Открытый корпус бенчмарков SAST: 2 938 418 сбалансированных случаев, 11 языков, 21 целевой фреймворк, 242 выделенные категории и 231 уникальный идентификатор CWE. Оценивайте вывод SARIF 2.1.0 с помощью TPR, FPR и индекса Юдена (Youden's J). | Kitploit
Инструменты/GitHubGitHub/theauditortool/benchproctor
Статический анализСканеры веб-уязвимостейАнализ уязвимостейАнализ КодаОбучение и Образование
GitHubtheauditortool/benchproctor

BenchProctor

Открытый корпус бенчмарков SAST: 2 938 418 сбалансированных случаев, 11 языков, 21 целевой фреймворк, 242 выделенные категории и 231 уникальный идентификатор CWE. Оценивайте вывод SARIF 2.1.0 с помощью TPR, FPR и индекса Юдена (Youden's J).

Поделиться
РепозиторийСайт
1331 день назадЕщё не проверено

BenchProctor

Эталонная истина для SAST. Открытый бенчмарк с машиночитаемой эталонной истиной и детерминированными оценщиками SARIF для измерения того, насколько точно инструмент статического анализа выявляет истинные уязвимости в коде бенчмарка и как часто он помечает безопасный код.

benchproctor.com · blog · Apache-2.0

Статус релиза

Релиз 2026.11.16 является текущим релизом. Это курируемый релиз:

  • 2 142 отдельных случая на 11 языках в 21 целевом фреймворке, ровно 1 071 уязвимый и 1 071 безопасный;
  • 60 многосервисных приложений на пяти языках, содержащих 860 размеченных потоков.

Релизы возобновляются в этой курируемой форме. Каждый релиз — это небольшая, свежая выборка: только лёгкая и средняя сложность, по фиксированному списку фреймворков и классов слабостей. Более крупный корпус, из которого она взята, не публикуется. См. Что этот релиз не содержит.

Релиз 2026.07.22 отозван. Аудит выявил дефекты разметки и реалистичности в семействах, из которых он был построен. Не сообщайте оценки по нему. См. Исправления и споры об эталонной истине.

Инструмент SAST заслуживает доверия лишь настолько, насколько надёжны его измеренные показатели, а для измерения этих показателей требуется эталонная истина. BenchProctor предоставляет случаи, помеченные как vulnerable или safe, чтобы вы могли оценивать совместимый вывод SARIF 2.1.0 и вычислять его долю истинно положительных, долю ложноположительных и J-статистику Юдена.

Быстрый старт

# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java

# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif

# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
  ./benchproctor-java/spring/expectedresults-2026.11.16.csv

# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J

Скорер восстанавливает CWE каждой находки из SARIF ruleId, properties результата или правила либо tags (например, external/cwe/cwe-089), либо из CWE taxa. Это поддерживает многие распространённые SARIF-кодировки без конфигурации. Если ваш инструмент не выдаёт CWE, добавьте --match-mode filename (любая находка в уязвимом файле засчитывается; это поощряет избыточные срабатывания, поэтому предпочтителен режим по умолчанию). Тот же score_sarif.py поставляется внутри каждого автономного пакета. У приложений свой скорер; см. Приложения.

Зачем ещё один бенчмарк

Многие существующие публичные бенчмарки SAST обладают одним или несколькими из следующих структурных ограничений:

  • Фиксированные и неизменные кейсы. Статический набор написанных вручную кейсов со временем может стимулировать подстройку под конкретный бенчмарк, из-за чего результаты хуже отражают обобщение на невиданный код.
  • Метки, закодированные в именах файлов. Когда тест находится по пути sqli/Test01729_true_positive.java, сканер может показать хороший результат, сопоставляя путь, а не анализируя код.
  • Ограниченное структурное покрытие. Многие наборы сосредоточены на одном языке и находках в одном файле, без проверки потока, пересекающего границу сервиса.

BenchProctor снижает запоминание точных кейсов и утечку меток по построению, охватывает 11 языков и добавляет многосервисные приложения, потоки которых пересекают границу процесса.

Что в этом релизе

Релиз2026.11.16
Автономные кейсы2 142: 1 071 уязвимый и 1 071 безопасный
Языки11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++
Цели фреймворков21 (см. таблицу ниже)
Классы слабостей22, сопоставленные с 22 различными CWE ID
Выборка3 уязвимых + 3 безопасных кейса для каждой пары фреймворк-класс: 357 пар
Приложения60 двухсервисных приложений по 4 графам сервисов, на TypeScript, JavaScript, Python, Java и C++
Потоки приложений860 размеченных потоков: 234 уязвимых и 626 безопасных
Сложностьлёгкая и средняя

Каждая пара фреймворк-класс сбалансирована точно. По Youden's J инструмент, помечающий всё, получает 0, поскольку его доли истинно положительных и ложноположительных результатов обе равны 100%. Некоторые кейсы используют общие runtime- или сопутствующие файлы, требуемые их языком или фреймворком; эти файлы не оцениваются отдельно.

Чего нет в этом релизе

Это курируемый релиз, и он намеренно узок. Он не содержит:

  • Кейсов, построенных вокруг неэффективной защиты. В этом релизе у уязвимого кейса нет защиты, а у безопасного есть работающая. Инструмент, который считает наличие любой защиты доказательством безопасности, здесь не штрафуется.
  • Самых глубоких паттернов распространения. Потоки используют только прямую и среднеглубинную передачу.
  • Фреймворков, классов слабостей и форм приложений за пределами списков на этой странице.

Читайте оценку на этом релизе как проверку нижней границы по широко известным классам, а не как полную оценку.

Как это построено

  • Комбинаторный, а не написанный вручную. Каждый класс моделирует поведение, значимое для безопасности, используя применимые компоненты четырёх осей: откуда поступает недоверенный ввод (source), как он распространяется (propagator), что его нейтрализует (sanitizer или safeguard), и до какой опасной операции он доходит (sink). Уязвимый случай опускает защитную меру; его безопасный аналог применяет эффективную. Каждый порождаемый случай ограничен допустимым, анализируемым путём с использованием реальных API языка и фреймворка.
  • Синтетический по замыслу. Корпус намеренно изолирует свойства безопасности, значимые для оценки. Отдельные случаи используют реальные API, но не предназначены для представления полноценных производственных функций.
  • Защита от утечки по построению. Порождённые файлы не содержат комментариев, тегов CWE, названий категорий или идентификаторов, несущих метки. Идентификаторы файлов перемешаны, поэтому имена файлов не кодируют класс или метку случая. CSV-файлы с ключами ответов — единственный публикуемый источник меток.
  • Ротация seed. Каждый выпуск генерируется со своим seed. Новый выпуск сохраняет те же языки, фреймворки, классы, выборку и сложность, но порождает другие комбинации и идентификаторы. Это ограничивает пользу заучивания точных файлов и имён файлов и призвано поддерживать сопоставимость оценок между выпусками. Структурное обобщение между выпусками остаётся возможным и ожидается.

Языки и фреймворки

ЯзыкЦелевые фреймворкиЦелиКлассов на цельСлучаев
JavaSpring, Jakarta EE218216
PythonFlask, Django, FastAPI318324
GoGin, net/http215180
RustActix-web, Axum215180
TypeScriptNestJS, Express218216
JavaScriptExpress, Koa218216
PHPLaravel, Symfony218216
RubyRails, Sinatra217204
C++cpp-httplib, standalone219228
Cstandalone11696
Bashstandalone11166
Итого2122 в объединении2,142

Целевой фреймворк содержит классы, встречающиеся в его языке. C и C++ включают классы безопасности памяти; управляемые языки — нет.

Классы слабостей

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Данных о популярности пока нет.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →