Apache Spark 4.2.0 - Élevé - À distance - Lecture de fichier - RPC StreamRequest File join non authentifié
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rpc-stream-unauth
Write-up : https://abraxaslabs.tech/research/spark-rpc-stream-unauth
Classe : Résidu de privilège / Lecture de fichier Portée : Distante
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2020-9480 a fermé RequestSubmitDriver / RegisterApplication non authentifiés sur le plan de contrôle RPC. AbstractAuthRpcHandler filtre receive() et receiveStream(). Il ne filtre pas getStreamManager(). TransportRequestHandler achemine toujours StreamRequest vers ce gestionnaire avant SASL. NettyStreamManager.openStream fait new File(dir, fname) sans vérification de confinement à la racine.
Un StreamRequest non authentifié classes/../../path lit les fichiers Spark-UID. Les enfants absolus Unix restent sous le répertoire enregistré (lab 404). files/ est un get de map (404). receive() / receiveStream() restent 401. Ce n'est pas la RCE de 9480.
| ID | pas encore de CVE |
| Classe | Résidu de privilège / Lecture de fichier (résidu du plan de données RPC non filtré de CVE-2020-9480) |
| Portée | Distante (TCP non authentifié vers un RpcEnv de driver / ESS / BlockManager avec spark.authenticate=true) |
| CWE | CWE-862, CWE-22 |
| CVSS | Élevé : 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N |
| Produit | Apache Spark |
| Affecté | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8). spark.authenticate=true activé par l'opérateur. La lecture de fichier hôte nécessite un répertoire enregistré (spark.repl.class.outputDir /classes et/ou les artifacts de Connect). |
| Auth | aucune sur StreamRequest / getStreamManager() |
| Licence | GNU Affero GPL v3.0 |
| Lab | 127.0.0.1 uniquement |
TCP vers un port RPC Spark qui a spark.authenticate=true et un répertoire enregistré. Aucun secret partagé. Pas de spark.network.crypto.enabled. Envoyer un StreamRequest de transport (type de message 6) avec streamId classes/../../<path>. TransportRequestHandler.processStreamRequest n'appelle jamais RpcHandler.receive. Il appelle getStreamManager().openStream. Le wrapper de 9480 renvoie le vrai gestionnaire. new File(dir, "../../oracle/secret") se canonicalise hors de la racine REPL/artifact et revient sous forme de FileSegmentManagedBuffer.
C'est une lecture de fichier hôte avec l'UID Spark. Ce n'est pas une soumission de job. Ce n'est pas RequestSubmitDriver. Ce n'est pas un shell.
| Méthode | Point d'aboutissement | Privilège |
|---|---|---|
StreamRequest non auth classes/../../<path> | NettyStreamManager.openStream new File(dir, fname) puis FileSegmentManagedBuffer | Lire les fichiers Spark-UID que le driver peut ouvrir. Prouvé en lab : opened /opt/repl-classes/../../oracle/secret, canonique /oracle/secret, corps SPARK-RPC-STREAM-UNAUTH-WITNESS, x-auth-gated=false, x-authenticated=false. |
StreamRequest non auth classes/hello.txt (contrôle dans le répertoire) | même jointure, reste sous le répertoire enregistré | Lire un fichier réellement sous /classes. Prouvé en lab 200 IN-DIR-OK, sans témoin. Confirme que le serveur de fichiers fonctionne sans SASL même pour un nom contenu. |
| Méthode | Sink | Privilège |
|---|---|---|
ChunkFetchRequest / StreamRequest non authentifié sur un streamId ESS actif | OneForOneStreamManager.getChunk / openStream. checkAuthorization est ignoré lorsque client.getClientId() == null | Lire les octets de shuffle en cours / de RDD sur disque d'une autre application. Disponibilité : le drain fait avancer curChunk. Nécessite un streamId actif (départ aléatoire, puis +1). Le gadget ne parlait pas à un ESS actif. |
MergedBlockMetaRequest non authentifié | AbstractAuthRpcHandler.getMergedBlockMetaReqHandler() également non protégé | Lire les bitmaps de chunks de shuffle fusionné pour un appId choisi lorsque l'ESS a le shuffle fusionné. Même contournement par clientId nul. Non exercé. |
| Méthode | Sink | Reste fermé |
|---|---|---|
StreamRequest non authentifié classes//oracle/secret (enfant absolu Unix) | new File(dir, "/oracle/secret") | 404. Le chemin ouvert est /opt/repl-classes/oracle/secret. File sous Unix concatène ; il n'ignore pas le parent. L'affirmation de la chasse selon laquelle un enfant absolu supprime la racine est fausse sous Unix. |
StreamRequest non authentifié files//oracle/secret | accès à la map files | 404. files/ et jars/ sont des recherches par basename, pas des jointures. |
receive() / OneWayMessage non authentifié | AbstractAuthRpcHandler.receive | 401 Unauthenticated call to receive(). x-auth-gated=true. |
receiveStream() / UploadStream non authentifié | AbstractAuthRpcHandler.receiveStream | 401 Unauthenticated call to receiveStream(). |
receiveStream() authentifié avec le secret du labo | même barrière après doAuthChallenge | 200 receiveStream-ok. Contrôle que le secret ouvre toujours le chemin 9480. |
Prouvé en labo vs déduit : la lecture de fichier .. non authentifiée, le 404 absolu Unix, le 404 de files/, receive / receiveStream protégés sont prouvés en labo. Le drain de shuffle ESS est déduit.
Fermé en périphérie (ne pas gonfler) :
RequestSubmitDriver / RegisterApplication non authentifiés via OneWayMessage / UploadStream / RpcRequest. Nécessite toujours le secret partagé.spark.authenticate=false par défaut (FAQ SECURITY.md, défaut documenté de réseau de confiance). Ce n'est pas ce reliquat.AppIsolationSuite / SPARK-57889 avec clientId non nul)./classes ni artifacts enregistrés, donc ce parcours de fichier hôte concerne driver / REPL / Connect, pas master:7077.spark.authenticate.secret.J'ai épinglé apache/spark v4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8), pas master et pas une RC 4.3. Vingt-huit chasses dans le code source. La soumission de job sur un cluster ouvert est voulue par conception. Le chargement de modèle ML est du code exécutable. Le RCE public Jackson History, le shell UI id -Gn, l'usurpation locale PySpark et le chemin de réception 9480 sont fermés sur cette passe.