abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-history-zip-symlink
技术文章:https://abraxaslabs.tech/research/spark-history-zip-symlink
类别: 文件读取 可达性: 远程
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2025-54920 锁定了 History Server 的 Jackson,使 sparkEventFromJson 只能构造 SparkListenerEvent 的子类。滚动式 zipEventLogFiles 仍会通过 FileSystem.open 导出每个 listStatus 子项。LocalFileSystem 会跟随 POSIX 符号链接。在 eventlog_v2_* 中植入的子项会被打包进无需认证的 GET /api/v1/applications/{id}/logs。zip 成员的内容是 SHS-UID 目标。条目名称是符号链接的基名。
这不是对 Jackson RCE 的重复提交。Jackson 仍然保持关闭。这不是主机 RCE。完整性和可用性均无影响。
| ID | 暂无 CVE |
| 类别 | 文件读取(CVE-2025-54920 受害模型遗留的滚动 zip 问题) |
| 可达性 | 远程(可写入 History 日志目录,加上无需认证的 zip GET 请求) |
| CWE | CWE-59、CWE-22 |
| CVSS | 高危:7.5 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:H/I:N/A:N |
| 产品 | Apache Spark |
| 受影响版本 | 4.2.0 标签 v4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) |
| 认证 | PR:L = 可写入 spark.history.fs.logDirectory(与 54920 相同的受害条件)。History UI ACL 默认关闭。 |
| 许可证 | GNU Affero GPL v3.0 |
| 实验环境 | 仅 127.0.0.1:18980 |
能够写入 spark.history.fs.logDirectory(默认 file:/tmp/spark-events)的人,可以植入一个 History Server 会打包的滚动目录。滚动写入器默认开启。History UI ACL 默认关闭。SHS 进程 UID 就是被混淆的代理。
| 权限 | 方法 / 汇聚点 | 实验验证或推断 |
|---|---|---|
| 机密性:读取 SHS UID 可打开的主机文件 | 植入 eventlog_v2_<id>/,其中包含有效的 appstatus_* 以及 events_* JSON(SparkListenerLogStart / SparkListenerApplicationStart),再加一个符号链接子项,其目标位于日志目录之外。等待扫描。未认证 GET /api/v1/applications/{id}/logs(OneApplicationResource.getEventLogs -> FsHistoryProvider.writeEventLogs -> RollingEventLogFilesFileReader.zipEventLogFiles -> FileSystem.open) | 实验验证。Zip 成员 eventlog_v2_app-2026-0001/planted-secret 的内容为 SPARK-HISTORY-ZIP-SYMLINK-WITNESS。Events 成员没有见证内容。条目名称保持为符号链接的基名,而非目标路径。 |
机密性:攻击者无法 open(660)的同级租户事件日志 | 同一个 zip,符号链接目标是另一个应用的日志 | 推断。相同的 FileSystem.open。未实际测试。 |
机密性:keytab、spark-env.sh、/etc/passwd(若 SHS 可读取) | 同一个 zip | 推断。预言机是专用的 /secret/host-secret,而非这些文件。 |
| SHS 或主机文件的完整性 | zip 被读入 HTTP 响应体 | 已排除。实验验证无影响。 |
| SHS 或主机文件的可用性 | zip 不会删除或截断目标 | 已排除。实验验证无影响。 |
| 主机 RCE / Jackson gadget 构造 | JsonProtocol.sparkEventFromJson | 已排除。需要 SparkListenerEvent。本实验仅植入良性 Event JSON。 |
条目名称中 ../ 的 zip slip | Path.getName() | 已排除。POSIX 文件名不能包含 /。条目为 eventlog_v2_<id>/<basename>。 |
resolveLogPath 的路径字符串逃逸 | new Path(logDir, attempt.logPath) | 已排除。Path 对象保持在配置的日志目录下。逃逸的是 inode。 |
| 压缩重写 / 清理器删除目标 | spark.history.fs.eventLog.rolling.maxFilesToRetain 默认 Integer.MAX_VALUE;清理器默认关闭 | 已排除。对符号链接执行本地 fs.delete 只会解除链接,而非删除目标。 |
| 未认证作业提交 / ML 模型加载 | SECURITY.md FAQ / docs/ml-security.md | 已排除。设计如此,并非此遗留问题。 |
我固定使用 apache/spark v4.2.0(32f7299601108917fb01920a54e084595b7b3bf8),而非 master 或 4.3 RC。共进行了二十八次排查。Jackson History RCE 在此版本上已排除(JsonProtocol.scala:965-972)。History Server 仍指向攻击者可写的日志目录,这与 CVE-2025-54920 的受害者模型相同。
zipEventLogFiles 会打包所有 files,而不仅是事件文件:
override def zipEventLogFiles(zipStream: ZipOutputStream): Unit = {
val dirEntryName = rootPath.getName + "/"
zipStream.putNextEntry(new ZipEntry(dirEntryName))
files.foreach { file =>
addFileAsZipEntry(zipStream, file.getPath, dirEntryName + file.getPath.getName)
}
}
addFileAsZipEntry 先调用 fileSystem.open,再调用 transferTo。LocalFileSystem 遵循 POSIX 符号链接。getLogDirInfo 的注释写着“正确处理符号链接”,随后却遍历未解析的 Path 父级来生成显示名称。
已记录的弯路:把 SPARK-52381 当作整个 History 故事;把见证文件放在 events_* 中(实验在此失败);期望 zip 条目携带目标路径;把 resolveLogPath 的前缀拼接当作逃逸点;在此版本上尝试 HiveConnection Event 类。
python3 spark-history-zip-symlink-Abraxas-Labs.py
或
cd lab
./run.sh
EventLogFileReaders.scala 的滚动 zip 转储 gadget,不是完整的 History Server,也不是官方 spark:4.2.0 镜像。它不通过 Jackson 解析 Event JSON。回环地址 127.0.0.1:18980。Compose 项目 spark-history-zip-symlink。滚动目录包含有效的 appstatus_* + events_*(无见证文件)以及 planted-secret -> /secret/host-secret。
SUCCESS SPARK-HISTORY-ZIP-SYMLINK SPARK-HISTORY-ZIP-SYMLINK-WITNESS
仅打包 events_* / appstatus_* 子项,而不是所有 listStatus 名称。以 no-follow 方式打开(O_NOFOLLOW / Hadoop 的 no-symlink 选项),并拒绝 realpath 位于 spark.history.fs.logDirectory 之外的子项。显示名称辅助函数并不是 realpath 检查。
32f7299601108917fb01920a54e084595b7b3bf8)EventLogFileReaders.scala(addFileAsZipEntry 约 48-56 行,zipEventLogFiles 约 267-272 行)FsHistoryProvider.scala(writeEventLogs 约 831-856 行,resolveLogPath 约 866-896 行)OneApplicationResource.scala(GET .../logs 约 128-165 行)JsonProtocol.scala(sparkEventFromJson 约 965-972 行,Jackson 锁)GNU Affero GPL v3.0。参见 LICENSE。仅限回环实验环境。不提供任何担保。