Apache Spark 4.2.0 - 高危 - 远程 - 文件写入 - Connect archives hash-fragment dest
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
技术文章:https://abraxaslabs.tech/research/spark-connect-archive-fragment
类别: 文件写入 可达性: 远程
Apache Spark 4.2.0(32f72996)— Apache Software Foundation
Spark Connect AddArtifacts 的名称形如 archives/<file>#<fragment>,会按井号 / 数字符号字符进行拆分。zip 字节会经过 concatenatePaths。而 fragment 不会。随后 SparkContext.addFile(..., isArchive=true) 会在 driver 上执行 new File(root, uri.getFragment)、deleteRecursively(dest) 以及 unpack。Executor 会构建相同的 dest。SPARK-33530 将 #name 记录为 SparkFiles 下的目录名。而 ../<outside> 形式的 fragment 就是 dest。
Connect archives/<file>#../<path> 会以 Spark UID 身份在会话 SparkFiles 目录之外解包并执行 deleteRecursively。
| ID | 暂无 CVE |
| 类别 | 文件写入 |
| 可达性 | 远程(Spark Connect 客户端;AddArtifacts 且 archive=True) |
| CWE | CWE-22 |
| CVSS | 高危:8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| 产品 | Apache Spark |
| 受影响版本 | 4.2.0(32f7299601108917fb01920a54e084595b7b3bf8)Connect archives/ 井号 fragment dest |
| 认证 | Connect 客户端。默认 Connect 无 PSK(spark.connect.authenticate.token 未设置)。若启用 PSK / 网络 ACL 则为 PR:L;默认开放 Connect 则为 PR:N。 |
| 许可证 | GNU Affero GPL v3.0 |
| 实验环境 | 仅 127.0.0.1 |
我固定了标签 v4.2.0 的 peel 提交 32f72996(2026-07-11,v4.2.0-rc6)。实验环境是一个 Java gadget,复现了固定版本中 StagedArtifact 的井号拆分、ArtifactUtils.concatenatePaths、new File(root, fragment)、deleteRecursively 以及限制在 dest 内的 zip 解包。回环 HTTP 监听于 127.0.0.1:18930。官方 PySpark 已经会将 URI fragment 复制到归档名称中。
这不是 RCE。走出 dest 的 zip 成员会被拒绝(Hadoop FileUtil.unZip / HADOOP-13649 一类)。遗留的问题在于 dest 本身。
| 方法 | 汇聚点 | 权限 |
|---|---|---|
Connect AddArtifacts 名称 archives/<file>#../<outside> | SparkContext.addFile 目标 new File(root, uri.getFragment) 然后 Utils.unpack(SparkContext.scala:1891-1900) | 完整性(实验证明): 以 Spark UID 将归档成员写入会话 SparkFiles 之外。实验目标规范路径 /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS,uid 1000,dest-outside=yes。 |
| 同一目标,在解包之前 | Utils.deleteRecursively(dest)(SparkContext.scala:1899) | 可用性(实验证明): 目标金丝雀文件消失。实验 deleteRecursively=yes;目标下的 canary.txt 未能存活。同级 /lab/oracle/canary-keep.txt 保留。 |
| 同一原语在每个获取归档的执行器上 | Executor 目标 new File(root, sourceURI.getFragment) 然后 deleteRecursively + unpack(Executor.scala:1468-1477) | 完整性 / 可用性(推断): 执行器上相同的目标构造。实验是驱动端 gadget。 |
制品名称 files/../../... 或 archives/../../... | ArtifactUtils.concatenatePaths(ArtifactUtils.scala:26-39) | 已关闭(实验证明): INVALID_ARTIFACT_PATH。 |
Unix 绝对片段 /abs | new File(root, "/abs") | 在 Unix 上已关闭(实验证明): 父路径未被忽略;目标拼接在根之下。实验目标 /lab/root/lab/oracle/abs-...,outside=false,abs 金丝雀保留。 |
本会话 jars/ / classes/ 添加 | 会话 URLClassLoader | 作为遗留项已关闭: 本会话 JAR 加载是设计使然。不是本发现。 |
| 跨会话 jar 加载 | Connect 隔离 spark.sql.artifact.isolation.enabled=true | 已关闭: 隔离会话读取 addedJars(sessionUUID)。 |
实验证明 vs 推断: 哈希片段目标位于 SparkFiles 之外、目标金丝雀被删除、同级金丝雀保留、files/ 和 archives/ 名称拼接被拒绝、Unix 绝对片段拼接在根之下、uid 1000、目标内 zip 解包:实验。执行器获取同一目标:推断(相同构造函数)。覆盖驱动类路径上稍后加载的类:推断链,未演示,未夸大为 RCE。
要求: 一个能够以 archive=True 执行 AddArtifacts 的 Connect 客户端。官方 PySpark spark.addArtifact(..., archive=True) 已经将非空 URI 片段放入名称中(python/pyspark/sql/connect/client/artifact.py:223-236)。默认 Connect 没有 PSK。
| 表面 | 实验 |
|---|---|
制品名称 .. / 通过 concatenatePaths 的绝对路径 | files-concat=rejected INVALID_ARTIFACT_PATH |
archives/ 名称遍历 archives/../../... | 相同 INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | 目标在根之下;abs oracle 金丝雀保留 |
| 包含目标下的 zip 成员 zip-slip | gadget 拒绝逃逸目标的成员(HADOOP-13649 类)。不是本遗留项。 |
files/ 路径拼接(无哈希拆分) | 片段不被采用;名称仍为 concatenatePaths |
| 跨会话 jar 隔离 | Connect 默认开启 |
| 开放 Connect 上的未认证 SQL / Python | 设计使然的任务提交(SECURITY.md FAQ)。不是本遗留项。 |
| 任务提交 / ML 模型加载 | 设计使然 |
StagedArtifact 仅拆分以 archives 加上服务器 File.separator 开头的名称,并且仅在 # 上拆分:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) 通过 concatenatePaths 进行暂存。splits(1) 保留为 fragment。ArtifactManager 将该 fragment 附加到会话文件服务器 URI,并调用 SparkContext.addArchive。Dest 为 new File(root, uri.getFragment)。SPARK-33530 测试 sc.addArchive(s"${jarFile.getAbsolutePath}#foo") 作为 SparkFiles 下的目录名。
Hunt 第一轮声称 Unix 绝对 fragment 会忽略 root(java.io.File 对绝对子路径忽略父路径)。在 Unix 上,new File(root, "/abs") 会去掉前导斜杠并拼接到 root 下。仅在 Windows 上父路径会被忽略。此固定版本上的 High 遍历为 #../。
cd lab
./run.sh
回环地址 127.0.0.1:18930。Compose 项目 spark-connect-archive-fragment。镜像 eclipse-temurin:21-jdk-jammy,运行时 uid 1000。见证 SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS。最后一行:
SUCCESS SPARK-CONNECT-ARCHIVE-FRAGMENT how=gadget dest-outside=yes deleteRecursively=yes files-concat=rejected uid=1000 SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS
CONTROL:archives/payload.zip 解包到 /lab/root 下。ATTACK:archives/payload-frag.zip#../oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS 的目标规范路径为 /lab/oracle/...,金丝雀文件被删除,pwned.txt 以 uid 1000 写入。Unix 绝对路径片段在根目录下拼接。栈在 EXIT 时拆除。
让归档片段通过与工件名称相同的“保持在根目录下”检查(concatenatePaths,或拒绝 .. / 绝对路径)。将 SPARK-33530 的 #name 保留为 SparkFiles 下的单个目录组件。不要对未通过该检查的目标执行 deleteRecursively。执行器使用相同的构造函数;两处都要修复。
在此之前,不要将 Spark Connect 暴露给任何你尚未信任其拥有 Spark UID 文件系统访问权限的人。在 spark.connect.authenticate.token 上设置 PSK 可将门槛提高到需要持有令牌。它并不会净化该片段。