Apache Spark 4.2.0 - Élevé - À distance - Résidu de privilège - proxy-user defaultExtraClassPath
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-proxyuser-classpath
Write-up : https://abraxaslabs.tech/research/spark-proxyuser-classpath
Classe : Reliquat de privilège (reliquat de CVE-2023-22946 / SPARK-41958) Portée : Distante
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2023-22946 / SPARK-41958 laisse toujours spark.submit.proxyUser.allowCustomClasspathInClusterMode à false par défaut et exécute toujours childClasspath.clear() lors d'une soumission en cluster avec --proxy-user. C'est le chemin public YARN --jars. Spark 4.0 a ensuite ajouté spark.driver.defaultExtraClassPath. Le lanceur préfixe toujours cette clé au -cp de la JVM spark-submit, y compris en mode cluster. SPARK-41958 ne la voit jamais.
Un locataire de type Livy peut toujours charger un jar déposé à l'intérieur de la JVM spark-submit de la passerelle. Le UserGroupInformation.doAs de Hadoop ne change pas cet UID Unix.
| ID | pas encore de CVE |
| Classe | Reliquat de privilège (reliquat de CVE-2023-22946 / SPARK-41958) |
| Portée | Distante (soumission de tâche --proxy-user de type Livy via la passerelle) |
| CWE | CWE-269, CWE-427 |
| CVSS | Élevé : 8.8 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:H/I:H/A:H |
| Produit | Apache Spark |
| Affecté | Apache Spark 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) |
| Auth | locataire authentifié d'une passerelle de type Livy / Kyuubi / Oozie qui transmet --conf et les --jars déposés dans spark-submit --proxy-user ... --deploy-mode cluster |
| Licence | GNU Affero GPL v3.0 |
| Lab | 127.0.0.1:18950 uniquement. Fichier témoin. Gadget des parcours du lanceur / de la soumission cités. |
Disposer d'un compte locataire sur une passerelle Spark multi-locataires (Livy, Kyuubi, Oozie et consorts) qui exécute spark-submit --proxy-user <tenant> --deploy-mode cluster sous un UID superutilisateur. Déposer un jar que la JVM de la passerelle peut ouvrir. Envoyer --conf spark.driver.defaultExtraClassPath=<staged jar>. Le garde-fou SPARK-41958 peut rester à false. Le spark-submit -cp construit commence toujours par ce jar. Les classes qu'il contient se chargent sous l'UID Unix de la passerelle.
--conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true est un second parcours : .internal() n'existe que dans la documentation, --conf écrit toujours la clé, et le cluster YARN conserve alors --jars dans childClasspath. La CVE-2023-22946 publique reste le chemin YARN --jars par défaut que clear() couvre déjà. Ce reliquat est defaultExtraClassPath sans garde-fou.
L'usurpation Hadoop après une soumission propre reste l'utilisateur proxy pour l'AM YARN / le driver k8s. Ce reliquat ne concerne que la JVM de la passerelle.
| Méthode | Sink | Recon | Intégrité | Disponibilité | Provenance |
|---|---|---|---|---|---|
Soumission de style Livy --proxy-user + cluster yarn/k8s/standalone + --conf spark.driver.defaultExtraClassPath=<staged local jar>, indicateur SPARK-41958 laissé à false | SparkSubmitCommandBuilder.buildSparkSubmitCommand SparkSubmitCommandBuilder.java:317-327 première entrée de -cp | Lister/lire les fichiers que l'UID de la passerelle peut lire (répertoire keytab, spark-defaults, staging local). L'identité Hadoop des RPC ultérieurs reste l'utilisateur proxy. | Charger les classes du tenant dans la JVM spark-submit. L'UID Unix reste la passerelle (superutilisateur proxy Hadoop). Lab : defaultExtraClassPath-on-cp=yes childClasspath-cleared=yes lab.WitnessMain a écrit SPARK-PROXYUSER-CLASSPATH-WITNESS. Déduit de la classe CVE publique : superposition de ressources Configuration Hadoop / résolution d'implémentation FileSystem en tant que cet UID. | Crash de la JVM de soumission si la superposition lève une exception. Pas la classe. | Chargement prouvé en lab + écriture témoin en tant que -cp construit. Superposition Hadoop déduite. Passthrough --conf de Livy/Kyuubi déduit (ces arbres ne correspondent pas à ce pin). |
Même soumission avec --conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true plus --jars / ressource primaire | SparkSubmit.prepareSubmitEnvironment SparkSubmit.scala:333-336,738-743,917-924 puis runMain :980-987 | Même recon que le parcours A, sur le URLClassLoader enfant plutôt que sur le chargeur système. | Conserver --jars sur childClasspath pour que addJarToClasspath s'exécute. Lab : conf-flag-keeps-jars=yes. | Idem. | Conservation de childClasspath prouvée en lab. Ce n'est pas une nouvelle déclaration du chemin YARN --jars public que clear() couvre lorsque l'indicateur reste à false. |
Prouvé en lab vs déduit : le -cp construit contient defaultExtraClassPath en mode cluster ; childClasspath.clear() s'exécute toujours avec l'indicateur par défaut ; spark.driver.extraClassPath est omis en cluster ; --jars avec l'indicateur à false est effacé ; une classe témoin sur ce -cp écrit l'oracle. L'exécution de classe de configuration Hadoop est le mécanisme public de CVE-2023-22946, non rejoué ici. Le transfert de --conf par Livy/Kyuubi est l'architecture documentée par ces projets.
