
Apache Spark 4.2.0 - 높음 - 원격 - 파일 읽기 - 인증되지 않은 RPC StreamRequest 파일 조인
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rpc-stream-unauth
분석 문서: https://abraxaslabs.tech/research/spark-rpc-stream-unauth
분류: 권한 잔여 / 파일 읽기 도달 범위: 원격
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2020-9480은 RPC 제어 평면에서 인증되지 않은 RequestSubmitDriver / RegisterApplication을 차단했습니다. AbstractAuthRpcHandler는 receive()와 receiveStream()을 게이트합니다. 그러나 getStreamManager()는 게이트하지 않습니다. TransportRequestHandler는 여전히 SASL 이전에 StreamRequest를 해당 매니저로 디스패치합니다. NettyStreamManager.openStream은 루트 내부 유지 검사 없이 new File(dir, fname)을 수행합니다.
인증되지 않은 StreamRequest classes/../../path가 Spark-UID 파일을 읽습니다. Unix 절대 경로 자식은 등록된 디렉터리 아래에 유지됩니다(랩 404). files/는 맵 조회입니다(404). receive() / receiveStream()은 401로 유지됩니다. 이는 9480 RCE가 아닙니다.
| ID | 아직 CVE 없음 |
| 분류 | 권한 잔여 / 파일 읽기 (CVE-2020-9480의 게이트되지 않은 RPC 데이터 평면 잔여) |
| 도달 범위 | 원격 (spark.authenticate=true인 드라이버 RpcEnv / ESS / BlockManager에 대한 인증되지 않은 TCP) |
| CWE | CWE-862, CWE-22 |
| CVSS | 높음: 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N |
| 제품 | Apache Spark |
| 영향 받음 | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8). 운영자가 활성화한 spark.authenticate=true. 호스트 파일 읽기에는 등록된 디렉터리(spark.repl.class.outputDir /classes 및/또는 Connect artifacts)가 필요합니다. |
| 인증 | StreamRequest / getStreamManager()에 없음 |
| 라이선스 | GNU Affero GPL v3.0 |
| 랩 | 127.0.0.1 전용 |
spark.authenticate=true와 등록된 디렉터리가 있는 Spark RPC 포트로 TCP 연결합니다. 공유 비밀 없음. spark.network.crypto.enabled 없음. streamId가 classes/../../<path>인 전송 StreamRequest(메시지 유형 6)를 보냅니다. TransportRequestHandler.processStreamRequest는 RpcHandler.receive를 호출하지 않습니다. 대신 getStreamManager().openStream을 호출합니다. 9480 래퍼는 실제 매니저를 반환합니다. new File(dir, "../../oracle/secret")은 REPL/아티팩트 루트 외부로 정규화되어 FileSegmentManagedBuffer로 반환됩니다.
이는 Spark UID 권한으로 호스트 파일을 읽는 것입니다. 작업 제출이 아닙니다. RequestSubmitDriver가 아닙니다. 셸이 아닙니다.
| 방법 | 싱크 | 권한 |
|---|---|---|
인증되지 않은 StreamRequest classes/../../<path> | NettyStreamManager.openStream의 new File(dir, fname) 후 FileSegmentManagedBuffer | 드라이버가 열 수 있는 Spark-UID 파일 읽기. 랩 입증: opened /opt/repl-classes/../../oracle/secret, 정규화된 경로 /oracle/secret, 본문 SPARK-RPC-STREAM-UNAUTH-WITNESS, x-auth-gated=false, x-authenticated=false. |
인증되지 않은 StreamRequest classes/hello.txt (디렉터리 내 제어) | 동일한 조인, 등록된 디렉터리 아래 유지 | 실제로 /classes 아래에 있는 파일 읽기. 랩 입증 200 IN-DIR-OK, 증거 없음. 포함된 이름에 대해서도 SASL 없이 파일 서버가 작동함을 확인. |
| 메서드 | 싱크 | 권한 |
|---|---|---|
활성 ESS streamId에 대한 비인증 ChunkFetchRequest / StreamRequest | OneForOneStreamManager.getChunk / openStream. client.getClientId() == null일 때 checkAuthorization이 건너뜀 | 다른 앱의 진행 중인 셔플 / 디스크-RDD 바이트를 읽음. 가용성: 드레인이 curChunk를 진행시킴. 활성 streamId 필요(무작위 시작, 이후 +1). 가젯은 활성 ESS와 통신하지 못했음. |
비인증 MergedBlockMetaRequest | AbstractAuthRpcHandler.getMergedBlockMetaReqHandler() 역시 게이트 없음 | ESS에 병합 셔플이 있을 때 선택한 appId의 병합 셔플 청크 비트맵을 읽음. 동일한 null-clientId 건너뜀. 검증되지 않음. |
| 메서드 | 싱크 | 닫힌 상태 유지 |
|---|---|---|
비인증 StreamRequest classes//oracle/secret (Unix 절대 경로 자식) | new File(dir, "/oracle/secret") | 404. 열린 경로는 /opt/repl-classes/oracle/secret. Unix File은 연결하며, 부모를 무시하지 않음. 절대 경로 자식이 루트를 버린다는 헌트의 주장은 Unix에서 틀림. |
비인증 StreamRequest files//oracle/secret | files 맵 조회 | 404. files/와 jars/는 조인이 아닌 basename 조회임. |
비인증 receive() / OneWayMessage | AbstractAuthRpcHandler.receive | 401 Unauthenticated call to receive(). x-auth-gated=true. |
비인증 receiveStream() / UploadStream | AbstractAuthRpcHandler.receiveStream | 401 Unauthenticated call to receiveStream(). |
실험실 시크릿을 사용한 인증된 receiveStream() | doAuthChallenge 이후 동일 게이트 | 200 receiveStream-ok. 시크릿이 여전히 9480 경로를 여는지 확인하는 대조군. |
실험실 검증 vs 추론: 비인증 .. 파일 읽기, Unix 절대 경로 404, files/ 404, 게이트된 receive / receiveStream은 실험실 검증임. ESS 셔플 드레인은 추론임.
인접한 닫힌 항목 (과장하지 말 것):
RequestSubmitDriver / RegisterApplication. 여전히 공유 시크릿이 필요함.spark.authenticate=false 비인증 셔플 및 작업 제출 (SECURITY.md FAQ, 문서화된 신뢰 네트워크 기본값). 이 잔여 항목이 아님.AppIsolationSuite / SPARK-57889 non-null clientId)./classes나 artifacts가 등록되어 있지 않으므로, 이 호스트 파일 경로 탐색은 driver / REPL / Connect에 해당하며 master:7077이 아님.spark.authenticate.secret을 덤프하지 않음.나는 apache/spark v4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8)을 고정했으며, master도 4.3 RC도 아님. 스물여덟 번의 소스 헌트. 개방된 클러스터에서의 작업 제출은 설계상 그런 것임. ML 모델 로드는 실행 가능한 코드임. 공개된 Jackson History RCE, UI id -Gn 셸, PySpark 로컬 임퍼소네이션, 9480 수신 경로는 이번 분석에서 닫혀 있음.
RPC 인증 헌트는 9480의 재신고 여부 확인이 될 예정이었음. AuthServerBootstrap은 여전히 핸들러를 감쌈. 비인증 receive는 여전히 예외를 던짐. 그런 다음 getStreamManager()를 읽었음. 세 줄. 델리게이트를 반환함. TransportRequestHandler.handle은 StreamRequest를 receive를 우회하여 라우팅함. 기본 StreamManager.checkAuthorization은 no-op임. SPARK-57889는 StreamRequest에 문자열 id 검사를 추가했고, ESS가 "인증 꺼짐"에 사용하는 null-clientId 건너뜀을 유지했는데, 이는 곧 "이 연결은 결코 인증되지 않았음"이기도 함.
SparkContext는 spark.repl.class.outputDir이 설정되면 /classes를 등록함. Connect ArtifactManager는 artifacts를 등록함. NettyStreamManager.openStream은 ftype/fname을 분할함. files/jars가 아닌 타입은 정규 경로 접두사 검사 없이 new File(dir, fname)을 수행함.
잘못된 방향, 하루치 헌트 확신을 낭비했기에 기록함: JavaDoc은 절대 경로 자식이 부모를 무시한다고 말함. Unix에서 UnixFileSystem.resolve는 연결함. new File("/opt/repl-classes", "/oracle/secret")은 /opt/repl-classes/oracle/secret임. 실험실 404. High 경로는 classes/../../oracle/secret임.
극장: 이것이 9480 RCE라고 주장한다. 제어 평면은 여전히 차단되어 있다. 오라클은 Spark UID가 이미 읽을 수 있는 파일 안의 증인 문자열이다.
pin 소스의 가젯 (AbstractAuthRpcHandler.java:52-87, NettyStreamManager.scala:54-70). HTTP는 TransportRequestHandler의 대역이다: /stream?id=는 StreamRequest이고, POST /rpc/receive는 OneWayMessage이며, POST /rpc/receive-stream은 UploadStream이다. 공식 spark:4.2.0은 필요하지 않다. 루프백 전용.
python3 spark-rpc-stream-unauth-Abraxas-Labs.py
또는:
cd lab
./run.sh
Loopback 127.0.0.1:18910. Compose 프로젝트 spark-rpc-stream-unauth. /oracle/secret의 Witness SPARK-RPC-STREAM-UNAUTH-WITNESS. 등록된 디렉터리 /opt/repl-classes에 hello.txt = IN-DIR-OK. 마지막 줄:
SUCCESS SPARK-RPC-STREAM-UNAUTH SPARK-RPC-STREAM-UNAUTH-WITNESS
isAuthenticated가 될 때까지 getStreamManager()(및 getMergedBlockMetaReqHandler())를 게이트하거나, 거부하는 매니저를 반환하십시오. NettyStreamManager.openStream에서는 getCanonicalFile 이후 등록된 디렉터리를 벗어나는 fname을 거부하십시오. ESS에서는 spark.authenticate가 켜져 있을 때 null clientId를 미인증으로 처리하십시오. SPARK-57889는 이미 StreamRequest에 대해 checkAuthorization을 호출하며, 이 건너뛰기가 남은 부분입니다.