Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
工具/GitHubGitHub/abraxas/spark-rpc-stream-unauth
漏洞分析漏洞利用Web应用程序漏洞利用信息收集网络安全渗透测试论文与研究实验室与实践
GitHubabraxas/spark-rpc-stream-unauth

spark-rpc-stream-unauth

Apache Spark 4.2.0 - 高危 - 远程 - 文件读取 - 未认证 RPC StreamRequest 文件合并

查看仓库
2421天前尚未审核
分享

Abraxas Labs - spark-rpc-stream-unauth

abraxaslabs.tech  ·  github.com/abraxas  ·  @abraxas_null  ·  [email protected]  ·  spark-rpc-stream-unauth

技术报告:https://abraxaslabs.tech/research/spark-rpc-stream-unauth

spark-rpc-stream-unauth

类别: 权限残留 / 文件读取 可达性: 远程

Apache Spark 4.2.0 (32f72996) - Apache Software Foundation

CVE-2020-9480 在 RPC 控制平面上关闭了未认证的 RequestSubmitDriver / RegisterApplication。AbstractAuthRpcHandler 对 receive() 和 receiveStream() 做了门控,但没有对 getStreamManager() 做门控。TransportRequestHandler 仍然会在 SASL 之前将 StreamRequest 分发到该管理器。NettyStreamManager.openStream 执行 new File(dir, fname),且没有保持在根目录内的检查。

未认证的 StreamRequest classes/../../path 可读取 Spark-UID 文件。 Unix 绝对子路径仍会停留在已注册目录内(实验环境返回 404)。files/ 是 map get(404)。receive() / receiveStream() 仍返回 401。这不是 9480 RCE。

ID暂无 CVE
类别权限残留 / 文件读取(CVE-2020-9480 未受门控的 RPC 数据平面残留)
可达性远程(在 spark.authenticate=true 下,对 driver RpcEnv / ESS / BlockManager 发起未认证 TCP)
CWECWE-862、CWE-22
CVSS高危:7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N
产品Apache Spark
受影响版本4.2.0(32f7299601108917fb01920a54e084595b7b3bf8)。需运维启用 spark.authenticate=true。主机文件读取需要已注册目录(spark.repl.class.outputDir /classes 和/或 Connect artifacts)。
认证StreamRequest / getStreamManager() 上无认证
许可证GNU Affero GPL v3.0
实验环境仅 127.0.0.1

攻击者可执行的操作

向启用了 spark.authenticate=true 且存在已注册目录的 Spark RPC 端口发起 TCP 连接。无需共享密钥,无需 spark.network.crypto.enabled。发送传输层 StreamRequest(消息类型 6),其中 streamId 为 classes/../../<path>。TransportRequestHandler.processStreamRequest 从不调用 RpcHandler.receive,而是调用 getStreamManager().openStream。9480 的包装器返回真实管理器。new File(dir, "../../oracle/secret") 规范化后落在 REPL/artifact 根目录之外,并以 FileSegmentManagedBuffer 返回。

这就是以 Spark UID 身份读取主机文件。它不是作业提交,不是 RequestSubmitDriver,也不是 shell。

机密性(实验环境已证实)

方法汇聚点权限
未认证 StreamRequest classes/../../<path>NettyStreamManager.openStream 的 new File(dir, fname) 然后 FileSegmentManagedBuffer读取 driver 可打开的 Spark-UID 文件。实验环境已证实:opened /opt/repl-classes/../../oracle/secret,规范化路径 /oracle/secret,响应体 SPARK-RPC-STREAM-UNAUTH-WITNESS,x-auth-gated=false,x-authenticated=false。
未认证 StreamRequest classes/hello.txt(目录内对照)相同的路径拼接,停留在已注册目录内读取实际位于 /classes 下的文件。实验环境已证实返回 200 IN-DIR-OK,无见证标记。确认即使对于受限于目录内的名称,文件服务器也无需 SASL 即可工作。

机密性(推断)

方法汇聚点权限
未认证的 ChunkFetchRequest / StreamRequest,针对活跃 ESS streamIdOneForOneStreamManager.getChunk / openStream。当 client.getClientId() == null 时,checkAuthorization 会跳过读取另一个应用正在传输的 shuffle / 磁盘 RDD 字节。可用性:排空会推进 curChunk。需要一个活跃的 streamId(随机起点,然后 +1)。该利用链未能与活跃 ESS 通信。
未认证的 MergedBlockMetaRequestAbstractAuthRpcHandler.getMergedBlockMetaReqHandler() 同样未设门禁当 ESS 启用了合并 shuffle 时,读取指定 appId 的合并 shuffle 块位图。同样存在 null-clientId 跳过。未实际验证。

在此遗留项上已关闭(实验室验证)

方法汇聚点保持关闭
未认证的 StreamRequest classes//oracle/secret(Unix 绝对子路径)new File(dir, "/oracle/secret")404。实际打开的路径是 /opt/repl-classes/oracle/secret。Unix 的 File 会拼接路径,不会忽略父路径。关于绝对子路径会丢弃根路径的搜寻结论在 Unix 上是错误的。
未认证的 StreamRequest files//oracle/secretfiles map 查找404。files/ 和 jars/ 是按 basename 查找,不是路径拼接。
未认证的 receive() / OneWayMessageAbstractAuthRpcHandler.receive401 Unauthenticated call to receive(). x-auth-gated=true。
未认证的 receiveStream() / UploadStreamAbstractAuthRpcHandler.receiveStream401 Unauthenticated call to receiveStream().
使用实验室密钥的已认证 receiveStream()doAuthChallenge 之后的同一门禁200 receiveStream-ok。用于验证该密钥仍能打开 9480 路径的对照测试。

实验室验证 vs 推断: 未认证 .. 文件读取、Unix 绝对路径 404、files/ 404、受门禁保护的 receive / receiveStream 均为实验室验证。ESS shuffle 排空为推断。

相邻的已关闭项(不要夸大):

  • CVE-2020-9480 RCE 路径:通过 OneWayMessage / UploadStream / RpcRequest 的未认证 RequestSubmitDriver / RegisterApplication。仍然需要共享密钥。
  • 默认 spark.authenticate=false 下的未认证 shuffle 和作业提交(SECURITY.md FAQ,文档中记录的受信网络默认值)。不属于此遗留项。
  • 已认证的应用 A 获取应用 B(AppIsolationSuite / SPARK-57889 非 null clientId)。
  • CVE-2021-38296 握手密钥恢复。
  • CVE-2025-55039 中等 CTR 默认值。
  • 独立 master RpcEnv 通常没有注册 /classes 或 artifacts,因此此主机文件遍历适用于 driver / REPL / Connect,而非 master:7077。
  • 不执行该文件。不写入。不导出 spark.authenticate.secret。

我是如何发现的

我固定使用 apache/spark v4.2.0(32f7299601108917fb01920a54e084595b7b3bf8),而非 master,也非 4.3 RC。进行了二十八次源码搜寻。在开放集群上提交作业是设计使然。ML 模型加载是可执行代码。公开的 Jackson History RCE、UI id -Gn shell、PySpark 本地模拟以及 9480 接收路径在此次剥离中均已关闭。

RPC 认证搜寻本应是对 9480 的重新归档检查。AuthServerBootstrap 仍然包装了处理器。未认证的 receive 仍然抛出异常。然后我阅读了 getStreamManager()。三行代码。它返回委托对象。TransportRequestHandler.handle 将 StreamRequest 路由绕过 receive。默认的 StreamManager.checkAuthorization 是空操作。SPARK-57889 在 StreamRequest 上添加了字符串 ID 检查,并保留了 ESS 用于表示“认证关闭”的 null-clientId 跳过逻辑,而这也意味着“此连接从未认证”。

当设置了 spark.repl.class.outputDir 时,SparkContext 会注册 /classes。Connect 的 ArtifactManager 会注册 artifacts。NettyStreamManager.openStream 会拆分 ftype/fname。非 files/jars 类型会执行 new File(dir, fname),且没有规范前缀检查。

记录一次错误转向,因为它浪费了一天的搜寻信心:JavaDoc 说绝对子路径会忽略父路径。在 Unix 上,UnixFileSystem.resolve 会拼接。new File("/opt/repl-classes", "/oracle/secret") 是 /opt/repl-classes/oracle/secret。实验室结果为 404。高危路径是 classes/../../oracle/secret。

场景设定:声称这是 9480 RCE。控制平面仍然受限。预言机是 Spark UID 已经能够读取的文件中的一个见证字符串。

实验环境

pin 源中的利用链(AbstractAuthRpcHandler.java:52-87、NettyStreamManager.scala:54-70)。HTTP 是 TransportRequestHandler 的替代品:/stream?id= 对应 StreamRequest;POST /rpc/receive 对应 OneWayMessage;POST /rpc/receive-stream 对应 UploadStream。不需要官方 spark:4.2.0。仅限回环地址。

python3 spark-rpc-stream-unauth-Abraxas-Labs.py

或:

cd lab
./run.sh

回环地址 127.0.0.1:18910。Compose 项目 spark-rpc-stream-unauth。见证文件 SPARK-RPC-STREAM-UNAUTH-WITNESS 位于 /oracle/secret。已注册目录 /opt/repl-classes,其中 hello.txt = IN-DIR-OK。最后一行:

SUCCESS SPARK-RPC-STREAM-UNAUTH SPARK-RPC-STREAM-UNAUTH-WITNESS

修复方案

在 isAuthenticated 之前对 getStreamManager()(以及 getMergedBlockMetaReqHandler())进行门控,或返回一个拒绝访问的管理器。在 NettyStreamManager.openStream 中,拒绝在 getCanonicalFile 之后离开已注册目录的 fname。在 ESS 上,当 spark.authenticate 开启时,将 null clientId 视为未认证。SPARK-57889 已经对 StreamRequest 调用 checkAuthorization;跳过的是遗留部分。

在此之前,不要在 TCP 端口可被任何你尚未信任其访问 Spark UID 文件的人访问的 RpcEnv 上注册 /classes 或 artifacts。spark.authenticate=true 并不能关闭此数据平面。

参考资料

下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    717
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    504
  • 3

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    402
  • 4

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI原生网络安全的行动系统——在这里,意图转化为受治理的执行,证据沉淀为运营记忆,每一次操作都让下一次更出色。

    260
  • 6

    antifox

    antifox-ai/antifox

    AI multi-agent autonomous penetration testing platform that runs recon, attack-surface discovery, exploitation validation and evidence-backed report delivery.

    259

探索所有工具

浏览我们的工具集合

查看所有工具 →