Apache Spark 4.2.0 - Alto - Remoto - Lettura di file - RPC StreamRequest File join non autenticato
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rpc-stream-unauth
Write-up: https://abraxaslabs.tech/research/spark-rpc-stream-unauth
Classe: Residuo di privilegio / Lettura di file Portata: Remota
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2020-9480 ha chiuso RequestSubmitDriver / RegisterApplication non autenticati sul piano di controllo RPC. AbstractAuthRpcHandler protegge receive() e receiveStream(). Non protegge getStreamManager(). TransportRequestHandler invia comunque StreamRequest a quel manager prima di SASL. NettyStreamManager.openStream esegue new File(dir, fname) senza alcun controllo di permanenza sotto la radice.
Un StreamRequest non autenticato classes/../../path legge i file Spark-UID. I figli assoluti Unix restano sotto la directory registrata (lab 404). files/ è un get su mappa (404). receive() / receiveStream() restano 401. Non è l'RCE di 9480.
| ID | nessuna CVE al momento |
| Classe | Residuo di privilegio / Lettura di file (residuo non protetto del piano dati RPC di CVE-2020-9480) |
| Portata | Remota (TCP non autenticato verso un driver RpcEnv / ESS / BlockManager con spark.authenticate=true) |
| CWE | CWE-862, CWE-22 |
| CVSS | Alto: 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N |
| Prodotto | Apache Spark |
| Affetto | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8). spark.authenticate=true abilitato dall'operatore. La lettura di file host richiede una directory registrata (spark.repl.class.outputDir /classes e/o artifacts di Connect). |
| Autenticazione | nessuna su StreamRequest / getStreamManager() |
| Licenza | GNU Affero GPL v3.0 |
| Lab | solo 127.0.0.1 |
TCP verso una porta RPC di Spark che ha spark.authenticate=true e una directory registrata. Nessun segreto condiviso. Nessun spark.network.crypto.enabled. Inviare un StreamRequest di trasporto (tipo di messaggio 6) con streamId classes/../../<path>. TransportRequestHandler.processStreamRequest non chiama mai RpcHandler.receive. Chiama getStreamManager().openStream. Il wrapper di 9480 restituisce il manager reale. new File(dir, "../../oracle/secret") viene canonicalizzato al di fuori della radice REPL/artifact e viene restituito come FileSegmentManagedBuffer.
Si tratta di una lettura di file host con l'UID di Spark. Non è invio di job. Non è RequestSubmitDriver. Non è una shell.
| Metodo | Sink | Privilegio |
|---|---|---|
StreamRequest non autenticato classes/../../<path> | NettyStreamManager.openStream new File(dir, fname) poi FileSegmentManagedBuffer | Legge file Spark-UID che il driver può aprire. Dimostrato in lab: opened /opt/repl-classes/../../oracle/secret, canonical /oracle/secret, body SPARK-RPC-STREAM-UNAUTH-WITNESS, x-auth-gated=false, x-authenticated=false. |
StreamRequest non autenticato classes/hello.txt (controllo in-dir) | stessa join, resta sotto la directory registrata | Legge un file che si trova effettivamente sotto /classes. Dimostrato in lab 200 IN-DIR-OK, nessun witness. Conferma che il file server funziona senza SASL anche per un nome contenuto. |
| Metodo | Sink | Privilegio |
|---|---|---|
ChunkFetchRequest / StreamRequest non autenticato di un streamId ESS attivo | OneForOneStreamManager.getChunk / openStream. checkAuthorization viene saltato quando client.getClientId() == null | Legge i byte di shuffle in-flight / disk-RDD di un'altra applicazione. Disponibilità: il drain fa avanzare curChunk. Richiede uno streamId attivo (partenza casuale, poi +1). Il gadget non parlava con un ESS attivo. |
MergedBlockMetaRequest non autenticato | AbstractAuthRpcHandler.getMergedBlockMetaReqHandler() anch'esso non protetto | Legge le bitmap dei chunk di merged-shuffle per un appId scelto quando l'ESS ha il merged shuffle. Stesso salto con clientId nullo. Non testato. |
| Metodo | Sink | Resta chiuso |
|---|---|---|
StreamRequest non autenticato classes//oracle/secret (figlio assoluto Unix) | new File(dir, "/oracle/secret") | 404. Il percorso aperto è /opt/repl-classes/oracle/secret. File di Unix concatena; non ignora il padre. L'affermazione della caccia secondo cui un figlio assoluto scarta la radice è errata su Unix. |
StreamRequest non autenticato files//oracle/secret | get sulla mappa files | 404. files/ e jars/ sono ricerche per basename, non join. |
receive() / OneWayMessage non autenticato | AbstractAuthRpcHandler.receive | 401 Unauthenticated call to receive(). x-auth-gated=true. |
receiveStream() / UploadStream non autenticato | AbstractAuthRpcHandler.receiveStream | 401 Unauthenticated call to receiveStream(). |
receiveStream() autenticato con il segreto di laboratorio | stessa protezione dopo doAuthChallenge | 200 receiveStream-ok. Controllo che il segreto apre ancora il percorso 9480. |
Dimostrato in laboratorio vs dedotto: la lettura di file con .. non autenticata, il 404 su assoluto Unix, il 404 su files/, receive / receiveStream protetti sono da laboratorio. Il drain dello shuffle ESS è dedotto.
Adiacenti chiusi (non gonfiare):
RequestSubmitDriver / RegisterApplication non autenticati via OneWayMessage / UploadStream / RpcRequest. Richiede comunque il segreto condiviso.spark.authenticate=false predefinito (FAQ di SECURITY.md, default documentato per reti fidate). Non è questo residuo.AppIsolationSuite / SPARK-57889 con clientId non nullo)./classes o artifacts registrati, quindi questa lettura di file host è driver / REPL / Connect, non master:7077.spark.authenticate.secret.Ho fissato apache/spark v4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8), non master e non una RC 4.3. Ventotto ricerche nel codice sorgente. Il job submit su un cluster aperto è by design. Il caricamento di modelli ML è codice eseguibile. La RCE pubblica di Jackson History, la shell id -Gn dell'UI, l'impersonificazione locale di PySpark e il percorso receive del 9480 sono chiusi in questa analisi.