
Apache Spark 4.2.0 - Hoch - Remote - Dateilesen - unauth RPC StreamRequest File join
Entdecken Sie die meistgenutzten Tools unserer Community.
Noch keine Beliebtheitsdaten.
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rpc-stream-unauth
Write-up: https://abraxaslabs.tech/research/spark-rpc-stream-unauth
Klasse: Privilegien-Rest / Dateilesen Reichweite: Remote
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2020-9480 hat unauthentifiziertes RequestSubmitDriver / RegisterApplication auf der RPC-Kontroll-Ebene geschlossen. AbstractAuthRpcHandler schützt receive() und receiveStream(). Es schützt getStreamManager() nicht. TransportRequestHandler leitet StreamRequest weiterhin vor SASL an diesen Manager weiter. NettyStreamManager.openStream führt new File(dir, fname) ohne Prüfung auf Verbleib im Wurzelverzeichnis aus.
Unauthentifiziertes StreamRequest classes/../../path liest Spark-UID-Dateien. Unix-absolute Kindpfade bleiben unter dem registrierten Verzeichnis (Lab 404). files/ ist ein Map-Get (404). receive() / receiveStream() bleiben 401. Dies ist keine 9480-RCE.
| ID | noch keine CVE |
| Klasse | Privilegien-Rest / Dateilesen (ungeschützter RPC-Datenebenen-Rest von CVE-2020-9480) |
| Reichweite | Remote (unauthentifiziertes TCP zu einem Driver-RpcEnv / ESS / BlockManager mit spark.authenticate=true) |
| CWE | CWE-862, CWE-22 |
| CVSS | Hoch: 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N |
| Produkt | Apache Spark |
| Betroffen | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8). Vom Betreiber aktiviertes spark.authenticate=true. Host-Dateilesen erfordert ein registriertes Verzeichnis (spark.repl.class.outputDir /classes und/oder Connect artifacts). |
| Auth | keine bei StreamRequest / getStreamManager() |
| Lizenz | GNU Affero GPL v3.0 |
| Lab | nur 127.0.0.1 |
TCP zu einem Spark-RPC-Port, der spark.authenticate=true und ein registriertes Verzeichnis hat. Kein gemeinsames Geheimnis. Kein spark.network.crypto.enabled. Senden eines Transport-StreamRequest (Nachrichtentyp 6) mit streamId classes/../../<path>. TransportRequestHandler.processStreamRequest ruft niemals RpcHandler.receive auf. Es ruft getStreamManager().openStream auf. Der 9480-Wrapper gibt den echten Manager zurück. new File(dir, "../../oracle/secret") wird außerhalb des REPL-/Artefakt-Wurzelverzeichnisses kanonisiert und kommt als FileSegmentManagedBuffer zurück.
Das ist ein Host-Dateilesen als die Spark-UID. Es ist kein Job-Submit. Es ist kein RequestSubmitDriver. Es ist keine Shell.
| Methode | Senke | Privileg |
|---|---|---|
Unauth StreamRequest classes/../../<path> | NettyStreamManager.openStream new File(dir, fname) dann FileSegmentManagedBuffer | Liest Spark-UID-Dateien, die der Driver öffnen kann. Im Lab nachgewiesen: opened /opt/repl-classes/../../oracle/secret, kanonisch /oracle/secret, Body SPARK-RPC-STREAM-UNAUTH-WITNESS, x-auth-gated=false, x-authenticated=false. |
Unauth StreamRequest classes/hello.txt (In-Dir-Kontrolle) | gleiche Verknüpfung, bleibt unter dem registrierten Verzeichnis | Liest eine Datei, die tatsächlich unter /classes liegt. Im Lab nachgewiesen 200 IN-DIR-OK, kein Witness. Bestätigt, dass der Dateiserver auch für einen enthaltenen Namen ohne SASL funktioniert. |
| Methode | Sink | Berechtigung |
|---|---|---|
Unauth ChunkFetchRequest / StreamRequest einer aktiven ESS streamId | OneForOneStreamManager.getChunk / openStream. checkAuthorization wird übersprungen, wenn client.getClientId() == null | Liest In-Flight-Shuffle- / Disk-RDD-Bytes einer anderen App. Verfügbarkeit: Drain erhöht curChunk. Benötigt eine aktive streamId (zufälliger Start, dann +1). Gadget sprach kein aktives ESS an. |
Unauth MergedBlockMetaRequest | AbstractAuthRpcHandler.getMergedBlockMetaReqHandler() ebenfalls ungeschützt | Liest Merged-Shuffle-Chunk-Bitmaps für eine gewählte appId, wenn ESS Merged Shuffle hat. Gleicher Skip bei null-clientId. Nicht ausgeführt. |
| Methode | Sink | Bleibt geschlossen |
|---|---|---|
Unauth StreamRequest classes//oracle/secret (absolutes Unix-Kind) | new File(dir, "/oracle/secret") | 404. Geöffneter Pfad ist /opt/repl-classes/oracle/secret. Unix File verkettet; es ignoriert das Elternverzeichnis nicht. Die Hunt-Behauptung, ein absolutes Kind verwerfe das Wurzelverzeichnis, ist unter Unix falsch. |
Unauth StreamRequest files//oracle/secret | files-Map-Get | 404. files/ und jars/ sind Basename-Lookups, keine Joins. |
Unauth receive() / OneWayMessage | AbstractAuthRpcHandler.receive | 401 Unauthenticated call to receive(). x-auth-gated=true. |
Unauth receiveStream() / UploadStream | AbstractAuthRpcHandler.receiveStream | 401 Unauthenticated call to receiveStream(). |
Authed receiveStream() mit dem Labor-Secret | gleiches Gate nach doAuthChallenge | 200 receiveStream-ok. Kontrolle, dass das Secret weiterhin den 9480-Pfad öffnet. |
Im Labor nachgewiesen vs. abgeleitet: Unauth-..-Dateilese, Unix-Absolut-404, files/-404, gated receive / receiveStream sind Labor. ESS-Shuffle-Drain ist abgeleitet.
Angrenzend geschlossen (nicht aufblähen):
RequestSubmitDriver / RegisterApplication über OneWayMessage / UploadStream / RpcRequest. Benötigt weiterhin das gemeinsame Secret.spark.authenticate=false Unauth-Shuffle und Job-Submit (SECURITY.md FAQ, dokumentierter Trusted-Network-Standard). Nicht dieser Restbefund.AppIsolationSuite / SPARK-57889 nicht-null clientId)./classes oder artifacts registriert, daher ist dieser Host-Datei-Walk Driver / REPL / Connect, nicht master:7077.spark.authenticate.secret nicht aus.Ich habe apache/spark v4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) gepinnt, nicht master und nicht einen 4.3 RC. Achtundzwanzig Source-Hunts. Job-Submit auf einem offenen Cluster ist by design. ML-Modell-Laden ist ausführbarer Code. Die öffentliche Jackson History RCE, UI id -Gn-Shell, PySpark-Local-Impersonation und der 9480-Receive-Pfad sind bei diesem Peel geschlossen.