SAST 的基准真值。 一个开放基准,提供机器可读的基准真值和确定性的 SARIF 评分器,用于衡量静态分析工具在基准代码中识别真实漏洞的准确程度, 以及它误报安全代码的频率。
benchproctor.com · 博客 · Apache-2.0
发布状态
2026.11.16 版本是当前版本。 这是一个精选版本:
- 2,142 个独立用例,覆盖 11 种语言、21 个框架目标,其中恰好 1,071 个 漏洞用例和 1,071 个安全用例;
- 60 个多服务应用,覆盖五种语言,包含 860 条已标注的数据流。
后续版本将以这种精选形式继续发布。每个版本都是一次小规模的全新抽取:仅包含 简单和中等难度,且限定在固定的框架和弱点类别列表内。其抽取来源的更大语料库 不予公开。参见本版本不包含的内容。
2026.07.22 版本已撤回。 一次审计发现其构建所依据的用例族存在标签和真实性 缺陷。请勿针对该版本报告评分。参见 更正与基准真值争议。
一个 SAST 工具的可信度取决于其经测量的性能,而测量该性能需要基准真值。
BenchProctor 提供标记为 vulnerable 或 safe 的用例,因此你可以对兼容的
SARIF 2.1.0 输出进行评分,并计算其真阳性率、假阳性率以及
Youden's J。
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
评分器会从 SARIF 的 ruleId、结果或规则的 properties 或 tags(例如 external/cwe/cwe-089)或 CWE taxa 中恢复每个发现的 CWE。这无需配置即可支持许多常见的 SARIF 编码。如果你的工具不输出 CWE,请添加 --match-mode filename(漏洞文件上的任何发现都计入;这会奖励过度标记,因此优先使用默认值)。相同的 score_sarif.py 随每个独立包一起提供。应用程序有自己的评分器;请参阅应用程序。
许多现有的公开 SAST 基准表现出以下一项或多项结构性局限:
sqli/Test01729_true_positive.java 时,扫描器可以通过匹配路径而不是分析代码来获得高分。BenchProctor 通过构造方式减少精确用例记忆和标签泄漏,覆盖 11 种语言,并添加了流跨越进程边界的多服务应用程序。
| 版本 | 2026.11.16 |
| 独立用例 | 2,142:1,071 个漏洞用例和 1,071 个安全用例 |
| 语言 | 11 种:Java、Python、Go、Rust、TypeScript、JavaScript、PHP、Ruby、Bash、C、C++ |
| 框架目标 | 21 个(见下表) |
| 弱点类别 | 22 个,映射到 22 个不同的 CWE ID |
| 采样 | 每个框架和类别对 3 个漏洞用例 + 3 个安全用例:357 对 |
| 应用程序 | 60 个双服务应用程序,覆盖 4 种服务图,使用 TypeScript、JavaScript、Python、Java 和 C++ |
| 应用程序流 | 860 条带标签的流:234 条漏洞流和 626 条安全流 |
| 难度 | 简单和中等 |
每个框架和类别对都精确平衡。在 Youden's J 下,一个标记一切的工具得分为 0,因为其真阳性率和假阳性率均为 100%。某些用例使用其语言或框架所需的共享运行时或伴随文件;这些文件不单独评分。
这是一个精选版本,并且刻意保持范围狭窄。它不包含:
请将本版本上的得分视为对广泛已知类别的下限检查,而不是完整评估。
| 语言 | 框架目标 | 目标数 | 每个目标的类别数 | 用例数 |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| 总计 | 21 | 并集共 22 | 2,142 |
框架目标包含其语言中出现的类别。C 和 C++ 包含内存安全类别;托管语言则不包含。
| 类别 | CWE | 类别 | CWE |
|---|---|---|---|
| SQL 注入 | CWE-89 | 服务端请求伪造 | CWE-918 |
| OS 命令注入 | CWE-78 | 代码注入 | CWE-94 |
| 路径遍历 | CWE-22 | 不可信数据反序列化 | CWE-502 |
| 跨站脚本 | CWE-79 | XML 外部实体 | CWE-611 |
| LDAP 注入 | CWE-90 | 开放重定向 | CWE-601 |
| XPath 注入 | CWE-643 | 整数溢出 | CWE-190 |
| 弱加密算法 | CWE-327 | 空指针解引用 | CWE-476 |
| 弱哈希 | CWE-328 | 基于栈的缓冲区溢出 | CWE-121 |
| 弱随机数 | CWE-330 | 基于堆的缓冲区溢出 | CWE-122 |
| 未设置 secure 属性的 Cookie | CWE-614 | 缓冲区过度读取 | CWE-126 |
| 信任边界违规 | CWE-501 | 释放后使用 | CWE-416 |
一个应用程序是由两个通过 HTTP 相互调用的服务组成的小型项目,每个服务都有自己的容器文件。一个主要流程从入口服务开始,并在后端服务中的 sink 结束。围绕它还有更多单文件流程(易受攻击的和安全的)以及普通的安全模块,所有这些都带有标签,因此工具必须从周围的代码中分辨出真正重要的流程。每个应用程序还附带一个 docker-compose.yml。
| 服务图 | 应用程序数 | 流程数 | 易受攻击 | 安全 |
|---|---|---|---|---|
| Express (TypeScript) 到 Flask | 16 | 229 | 62 | 167 |
| NestJS 到 Spring | 16 | 229 | 62 | 167 |
| Express (JavaScript) 到 Django | 16 | 229 | 62 | 167 |
| Express (TypeScript) 到 cpp-httplib | 12 | 173 | 48 | 125 |
| 总计 | 60 | 860 | 234 | 626 |
应用围绕六个类别(SQL 注入、跨站脚本、操作系统命令注入、服务端请求伪造、路径遍历、反序列化)和两条两阶段链(未认证入口导致跨站脚本,以及未验证 URL 导致服务端请求伪造)构建。C++ 图包含八者中的六个:它没有反序列化应用,也没有未验证 URL 链。在一半的应用中,链能够完成;在另一半中,路径上的某个控制措施会阻止其完成。
unzip Benchmarks/applications/benchproctor-applications-2026.11.16.zip -d benchproctor-apps
your-tool scan ./benchproctor-apps/nestjs-spring/applications --format sarif -o results.sarif
python ./benchproctor-apps/score_apps.py \
--flows ./benchproctor-apps/nestjs-spring/expectedresults-2026.11.16.csv \
--chains ./benchproctor-apps/nestjs-spring/expectedresults-chains-2026.11.16.csv \
--tool-sarif results.sarif
score_apps.py 会并排报告三个数字,且从不取平均值:每个数据流是否被正确判定(Youden's J)、在被正确判定的数据流中是否指出了正确的 CWE,以及该工具重建了服务图的多少部分。
每个独立用例都在 CSV 答案键中带有一个真实标签(vulnerable 或 safe)。工具运行后,评分会计算一个混淆矩阵和一次减法:
detected ignored
vulnerable TP FN
safe FP TN
TPR = TP / (TP + FN) detection rate
FPR = FP / (FP + TN) false-alarm rate
J = TPR - FPR Youden's J (the score)
| 得分 | 含义 |
|---|---|
| +100% | 完美:捕获所有问题,零误报 |
| 0% | 无区分能力:TPR 等于 FPR;全部标记和全部不标记都落在此处 |
| -100% | 反向:标记安全代码,漏掉真实缺陷 |
得分以两种形式报告。按类别平均的总体得分对每个类别赋予相同权重,因此大类无法占据主导;扁平汇总得分对每个用例赋予相同权重。由于每侧有三个用例,单个框架与类别的组合以三分之一步长变化,因此应跨框架按语言或按类别阅读得分,而不是按组合阅读。任何能输出兼容 SARIF 2.1.0 的工具都可以被评分;两个评分器都是仅使用标准库的单个 Python 文件,无任何依赖。
在发布之前,本版本中的每个源文件都经过了其对应语言的原生工具链处理。没有进行抽样:
javac 编译,每个框架运行一次;应用程序的每个 Java 服务都用 Maven 编译。go build 和 go vet。cargo check。tsc。Makefile 构建。node --check、php -l、ruby -c、gcc、g++ 和 bash -n 进行了语法检查。除此之外,还有一套确定性门禁在无 AI、无 LLM 作为评判者的情况下运行:每个 vulnerable 用例必须携带真实的源到汇流,每个 safe 孪生用例必须针对该汇点将其中和,记录的汇点行必须与评分操作匹配,并且必须满足数十项进一步的结构和惯用法检查。对于应用程序,还有进一步的门禁检查每个服务图与磁盘上的服务匹配,以及每个漏洞流的评分行包含一条语句。
最后,每个包都被解包,并按照你会采用的方式评分:使用包内附带的评分器,答案键与代码放在一起,对照完美答案进行评分:每个独立框架得分 +100%,并且在每个应用程序图上,每个流都被正确判定,每个 CWE 都被命名,每条服务图边都被恢复。
这些检查是静态的。应用程序为每个服务附带一个容器文件和一个 compose 文件,但在本版本中它们并未在容器中启动,因此没有流在运行时被执行。
已发布的包包含测试代码、所需支持工件、CSV 答案键、评分器、清单、校验和以及文档。内部逐用例证明元数据和用于自验证的完美得分 oracle SARIF 被有意不发布。CSV 是唯一发布的标签来源;测试文件不包含任何证明标记或标签元数据,无法从中推断出这些标签。
版本 2026.11.16 包含 12 个 ZIP 文件:Benchmarks/standalone/ 下每种语言一个,Benchmarks/applications/ 下应用程序一个。它们总共占用 3.1 MiB(3,272,724 字节)。
每个独立包都是自包含的。它包含每个框架的 testcode/ 目录、expectedresults-<version>.csv 答案键、捆绑的 score_sarif.py、benchproctor-manifest.json(版本、每个框架的计数和 SHA-256 校验和)以及一个 README。应用程序包包含每个服务图一个目录,其中包含其 applications/、两个答案键 CSV 和 score_apps.py。SHASUMS256.txt 和每个文件的校验和附属文件让你可以验证每次下载。归档使用正斜杠路径,并可用任何标准工具解压。
真值缺陷是可能的,并且必须公开处理。
一个基准真值挑战应指出受影响的用例、其已发布的标签,以及对该标签提出异议的语义依据。已确认的缺陷应尽可能追溯到生成器或模板并在其中修正,且每个受影响的家族都应重新生成。
已发布的版本绝不会被静默替换。修正会作为新版本发布,其变更日志会指明受影响的家族、原因与修正内容,以及任何标签变更的方向。
版本 2026.07.22(2,938,418 个用例)整体撤回,其捆绑包不再分发:它们已连同其历史记录一起从本仓库中移除。在此版本之前的审计在其所构建的家族中发现了以下问题: