Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
BenchProctor — 开源 SAST 基准语料库:2,938,418 个均衡用例、11 种语言、21 个框架目标、242 个输出类别,以及 231 个不同的 CWE ID。使用 TPR、FPR 和 Youden's J 对 SARIF 2.1.0 输出进行评分。 | Kitploit
工具/GitHubGitHub/theauditortool/benchproctor
静态分析Web漏洞扫描器漏洞分析代码分析学习与教育
GitHubtheauditortool/benchproctor

BenchProctor

开源 SAST 基准语料库:2,938,418 个均衡用例、11 种语言、21 个框架目标、242 个输出类别,以及 231 个不同的 CWE ID。使用 TPR、FPR 和 Youden's J 对 SARIF 2.1.0 输出进行评分。

查看仓库
1331天前尚未审核
分享
网站

BenchProctor

SAST 的基准真值。 一个开放基准,提供机器可读的基准真值和确定性的 SARIF 评分器,用于衡量静态分析工具在基准代码中识别真实漏洞的准确程度, 以及它误报安全代码的频率。

benchproctor.com · 博客 · Apache-2.0

发布状态

2026.11.16 版本是当前版本。 这是一个精选版本:

  • 2,142 个独立用例,覆盖 11 种语言、21 个框架目标,其中恰好 1,071 个 漏洞用例和 1,071 个安全用例;
  • 60 个多服务应用,覆盖五种语言,包含 860 条已标注的数据流。

后续版本将以这种精选形式继续发布。每个版本都是一次小规模的全新抽取:仅包含 简单和中等难度,且限定在固定的框架和弱点类别列表内。其抽取来源的更大语料库 不予公开。参见本版本不包含的内容。

2026.07.22 版本已撤回。 一次审计发现其构建所依据的用例族存在标签和真实性 缺陷。请勿针对该版本报告评分。参见 更正与基准真值争议。

一个 SAST 工具的可信度取决于其经测量的性能,而测量该性能需要基准真值。 BenchProctor 提供标记为 vulnerable 或 safe 的用例,因此你可以对兼容的 SARIF 2.1.0 输出进行评分,并计算其真阳性率、假阳性率以及 Youden's J。

快速开始

# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java

# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif

# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
  ./benchproctor-java/spring/expectedresults-2026.11.16.csv

# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J

评分器会从 SARIF 的 ruleId、结果或规则的 properties 或 tags(例如 external/cwe/cwe-089)或 CWE taxa 中恢复每个发现的 CWE。这无需配置即可支持许多常见的 SARIF 编码。如果你的工具不输出 CWE,请添加 --match-mode filename(漏洞文件上的任何发现都计入;这会奖励过度标记,因此优先使用默认值)。相同的 score_sarif.py 随每个独立包一起提供。应用程序有自己的评分器;请参阅应用程序。

为什么需要另一个基准

许多现有的公开 SAST 基准表现出以下一项或多项结构性局限:

  • 固定且不变的用例。 一组静态的人工编写用例会随时间推移鼓励针对基准的特定调优,使结果更难反映对未见代码的泛化能力。
  • 标签编码在文件名中。 当测试位于 sqli/Test01729_true_positive.java 时,扫描器可以通过匹配路径而不是分析代码来获得高分。
  • 结构覆盖有限。 许多套件专注于一种语言和单文件发现,而不测试跨越服务边界的流。

BenchProctor 通过构造方式减少精确用例记忆和标签泄漏,覆盖 11 种语言,并添加了流跨越进程边界的多服务应用程序。

本版本包含的内容

版本2026.11.16
独立用例2,142:1,071 个漏洞用例和 1,071 个安全用例
语言11 种:Java、Python、Go、Rust、TypeScript、JavaScript、PHP、Ruby、Bash、C、C++
框架目标21 个(见下表)
弱点类别22 个,映射到 22 个不同的 CWE ID
采样每个框架和类别对 3 个漏洞用例 + 3 个安全用例:357 对
应用程序60 个双服务应用程序,覆盖 4 种服务图,使用 TypeScript、JavaScript、Python、Java 和 C++
应用程序流860 条带标签的流:234 条漏洞流和 626 条安全流
难度简单和中等

每个框架和类别对都精确平衡。在 Youden's J 下,一个标记一切的工具得分为 0,因为其真阳性率和假阳性率均为 100%。某些用例使用其语言或框架所需的共享运行时或伴随文件;这些文件不单独评分。

本版本不包含的内容

这是一个精选版本,并且刻意保持范围狭窄。它不包含:

  • 围绕无效防护构建的用例。 在本版本中,漏洞用例没有防护,安全用例有一个有效的防护。将任何防护的存在视为安全证明的工具在这里不会受到惩罚。
  • 最深的传播模式。 流仅使用直接和中等深度的传播。
  • 本页列表之外的框架、弱点类别和应用程序形态。

请将本版本上的得分视为对广泛已知类别的下限检查,而不是完整评估。

如何构建

  • 组合式生成,而非手写。 每个类使用四个轴的适用组件来建模与安全相关的行为:不可信输入从何处进入(source)、它如何传播(propagator)、什么会使其失效(sanitizer 或 safeguard),以及它最终到达的危险操作(sink)。易受攻击的用例省略了防护措施;其安全对应用例则应用了有效的防护措施。每个生成的用例都被约束为使用真实语言和框架 API 的有效、可分析路径。
  • 按设计合成。 该语料库有意隔离与评分相关的安全属性。各个用例使用真实 API,但并非旨在代表完整的产品功能。
  • 通过构造防止泄漏。 生成的文件不包含注释、CWE 标签、类别名称或带标签的标识符。文件 ID 经过打乱,因此文件名不会编码用例的类别或标签。CSV 答案键是唯一公布的标签来源。
  • 种子轮换。 每个版本都使用自己的种子抽取。新版本保持相同的语言、框架、类别、采样和难度,并生成不同的组合和标识符。这限制了精确文件记忆和文件名记忆的有效性,并旨在支持跨版本分数可比性。跨版本的结构泛化仍然可能,且符合预期。

语言与框架

语言框架目标目标数每个目标的类别数用例数
JavaSpring, Jakarta EE218216
PythonFlask, Django, FastAPI318324
GoGin, net/http215180
RustActix-web, Axum215180
TypeScriptNestJS, Express218216
JavaScriptExpress, Koa218216
PHPLaravel, Symfony218216
RubyRails, Sinatra217204
C++cpp-httplib, standalone219228
Cstandalone11696
Bashstandalone11166
总计21并集共 222,142

框架目标包含其语言中出现的类别。C 和 C++ 包含内存安全类别;托管语言则不包含。

弱点类别

类别CWE类别CWE
SQL 注入CWE-89服务端请求伪造CWE-918
OS 命令注入CWE-78代码注入CWE-94
路径遍历CWE-22不可信数据反序列化CWE-502
跨站脚本CWE-79XML 外部实体CWE-611
LDAP 注入CWE-90开放重定向CWE-601
XPath 注入CWE-643整数溢出CWE-190
弱加密算法CWE-327空指针解引用CWE-476
弱哈希CWE-328基于栈的缓冲区溢出CWE-121
弱随机数CWE-330基于堆的缓冲区溢出CWE-122
未设置 secure 属性的 CookieCWE-614缓冲区过度读取CWE-126
信任边界违规CWE-501释放后使用CWE-416

应用程序

一个应用程序是由两个通过 HTTP 相互调用的服务组成的小型项目,每个服务都有自己的容器文件。一个主要流程从入口服务开始,并在后端服务中的 sink 结束。围绕它还有更多单文件流程(易受攻击的和安全的)以及普通的安全模块,所有这些都带有标签,因此工具必须从周围的代码中分辨出真正重要的流程。每个应用程序还附带一个 docker-compose.yml。

服务图应用程序数流程数易受攻击安全
Express (TypeScript) 到 Flask1622962167
NestJS 到 Spring1622962167
Express (JavaScript) 到 Django1622962167
Express (TypeScript) 到 cpp-httplib1217348125
总计60860234626

应用围绕六个类别(SQL 注入、跨站脚本、操作系统命令注入、服务端请求伪造、路径遍历、反序列化)和两条两阶段链(未认证入口导致跨站脚本,以及未验证 URL 导致服务端请求伪造)构建。C++ 图包含八者中的六个:它没有反序列化应用,也没有未验证 URL 链。在一半的应用中,链能够完成;在另一半中,路径上的某个控制措施会阻止其完成。

unzip Benchmarks/applications/benchproctor-applications-2026.11.16.zip -d benchproctor-apps
your-tool scan ./benchproctor-apps/nestjs-spring/applications --format sarif -o results.sarif
python ./benchproctor-apps/score_apps.py \
  --flows  ./benchproctor-apps/nestjs-spring/expectedresults-2026.11.16.csv \
  --chains ./benchproctor-apps/nestjs-spring/expectedresults-chains-2026.11.16.csv \
  --tool-sarif results.sarif

score_apps.py 会并排报告三个数字,且从不取平均值:每个数据流是否被正确判定(Youden's J)、在被正确判定的数据流中是否指出了正确的 CWE,以及该工具重建了服务图的多少部分。

评分

每个独立用例都在 CSV 答案键中带有一个真实标签(vulnerable 或 safe)。工具运行后,评分会计算一个混淆矩阵和一次减法:

                detected   ignored
 vulnerable        TP         FN
 safe              FP         TN

 TPR  = TP / (TP + FN)     detection rate
 FPR  = FP / (FP + TN)     false-alarm rate
 J    = TPR - FPR          Youden's J  (the score)
得分含义
+100%完美:捕获所有问题,零误报
0%无区分能力:TPR 等于 FPR;全部标记和全部不标记都落在此处
-100%反向:标记安全代码,漏掉真实缺陷

得分以两种形式报告。按类别平均的总体得分对每个类别赋予相同权重,因此大类无法占据主导;扁平汇总得分对每个用例赋予相同权重。由于每侧有三个用例,单个框架与类别的组合以三分之一步长变化,因此应跨框架按语言或按类别阅读得分,而不是按组合阅读。任何能输出兼容 SARIF 2.1.0 的工具都可以被评分;两个评分器都是仅使用标准库的单个 Python 文件,无任何依赖。

标签如何验证

在发布之前,本版本中的每个源文件都经过了其对应语言的原生工具链处理。没有进行抽样:

  • Java: 每个独立文件都用 javac 编译,每个框架运行一次;应用程序的每个 Java 服务都用 Maven 编译。
  • Python: 每个独立文件都进行了解析,每个用例都检查了未定义名称;应用程序的每个 Python 服务都进行了字节编译。
  • Go: 对每个框架的模块运行 go build 和 go vet。
  • Rust: 对每个框架的 crate 运行 cargo check。
  • TypeScript: 在严格模式下对每个 TypeScript 源文件(独立文件和应用程序)运行 tsc。
  • C++ 应用程序: 每个 C++ 服务都用其自己的 Makefile 构建。
  • JavaScript、PHP、Ruby、C、C++、Bash: 每个文件都用 node --check、php -l、ruby -c、gcc、g++ 和 bash -n 进行了语法检查。

除此之外,还有一套确定性门禁在无 AI、无 LLM 作为评判者的情况下运行:每个 vulnerable 用例必须携带真实的源到汇流,每个 safe 孪生用例必须针对该汇点将其中和,记录的汇点行必须与评分操作匹配,并且必须满足数十项进一步的结构和惯用法检查。对于应用程序,还有进一步的门禁检查每个服务图与磁盘上的服务匹配,以及每个漏洞流的评分行包含一条语句。

最后,每个包都被解包,并按照你会采用的方式评分:使用包内附带的评分器,答案键与代码放在一起,对照完美答案进行评分:每个独立框架得分 +100%,并且在每个应用程序图上,每个流都被正确判定,每个 CWE 都被命名,每条服务图边都被恢复。

这些检查是静态的。应用程序为每个服务附带一个容器文件和一个 compose 文件,但在本版本中它们并未在容器中启动,因此没有流在运行时被执行。

已发布的包包含测试代码、所需支持工件、CSV 答案键、评分器、清单、校验和以及文档。内部逐用例证明元数据和用于自验证的完美得分 oracle SARIF 被有意不发布。CSV 是唯一发布的标签来源;测试文件不包含任何证明标记或标签元数据,无法从中推断出这些标签。

包与完整性

版本 2026.11.16 包含 12 个 ZIP 文件:Benchmarks/standalone/ 下每种语言一个,Benchmarks/applications/ 下应用程序一个。它们总共占用 3.1 MiB(3,272,724 字节)。

每个独立包都是自包含的。它包含每个框架的 testcode/ 目录、expectedresults-<version>.csv 答案键、捆绑的 score_sarif.py、benchproctor-manifest.json(版本、每个框架的计数和 SHA-256 校验和)以及一个 README。应用程序包包含每个服务图一个目录,其中包含其 applications/、两个答案键 CSV 和 score_apps.py。SHASUMS256.txt 和每个文件的校验和附属文件让你可以验证每次下载。归档使用正斜杠路径,并可用任何标准工具解压。

更正与真值争议

真值缺陷是可能的,并且必须公开处理。

一个基准真值挑战应指出受影响的用例、其已发布的标签,以及对该标签提出异议的语义依据。已确认的缺陷应尽可能追溯到生成器或模板并在其中修正,且每个受影响的家族都应重新生成。

已发布的版本绝不会被静默替换。修正会作为新版本发布,其变更日志会指明受影响的家族、原因与修正内容,以及任何标签变更的方向。

撤回版本 2026.07.22

版本 2026.07.22(2,938,418 个用例)整体撤回,其捆绑包不再分发:它们已连同其历史记录一起从本仓库中移除。在此版本之前的审计在其所构建的家族中发现了以下问题:

下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    491
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    462
  • 3

    opencti

    opencti-platform/opencti

    开放式网络威胁情报平台

    345
  • 4

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    340
  • 5

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    306
  • 6

    estorides

    grisuno/estorides

    并行聚合 99+ 个免费 OSINT 来源,将实体解析为知识图谱,并借助 LLM 辅助分析导出 STIX 2.1、MISP 或 GraphML。

    292

探索所有工具

浏览我们的工具集合

查看所有工具 →