Apache Spark 4.2.0 - Élevé - À distance - Résidu de privilège - proxy-user defaultExtraClassPath
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-proxyuser-classpath
Classe : Reliquat de privilège (reliquat de CVE-2023-22946 / SPARK-41958) Portée : Distante
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2023-22946 / SPARK-41958 laisse toujours spark.submit.proxyUser.allowCustomClasspathInClusterMode à false par défaut et exécute toujours childClasspath.clear() lors d'une soumission en cluster avec --proxy-user. C'est le chemin public YARN --jars. Spark 4.0 a ensuite ajouté spark.driver.defaultExtraClassPath. Le lanceur préfixe toujours cette clé au -cp de la JVM spark-submit, y compris en mode cluster. SPARK-41958 ne la voit jamais.
Un locataire de type Livy peut toujours charger un jar déposé à l'intérieur de la JVM spark-submit de la passerelle. Le UserGroupInformation.doAs de Hadoop ne change pas cet UID Unix.
| ID | pas encore de CVE |
| Classe | Reliquat de privilège (reliquat de CVE-2023-22946 / SPARK-41958) |
| Portée | Distante (soumission de job de type Livy --proxy-user via la passerelle) |
| CWE | CWE-269, CWE-427 |
| CVSS | Élevé : 8.8 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:H/I:H/A:H |
| Produit | Apache Spark |
| Affecté | Apache Spark 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) |
| Auth | locataire authentifié d'une passerelle de type Livy / Kyuubi / Oozie qui transmet --conf et les --jars déposés dans spark-submit --proxy-user ... --deploy-mode cluster |
| Licence | GNU Affero GPL v3.0 |
| Lab | 127.0.0.1:18950 uniquement. Fichier témoin. Gadget des parcours du lanceur / de la soumission cités. |
Détenir un compte locataire sur une passerelle Spark multi-locataires (Livy, Kyuubi, Oozie, et compagnie) qui exécute spark-submit --proxy-user <tenant> --deploy-mode cluster en tant qu'UID superutilisateur. Déposer un jar que la JVM de la passerelle peut ouvrir. Envoyer --conf spark.driver.defaultExtraClassPath=<staged jar>. Le verrou SPARK-41958 peut rester à false. Le spark-submit -cp construit commence toujours par ce jar. Les classes qu'il contient se chargent avec l'UID Unix de la passerelle.
--conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true est un second parcours : .internal() n'est que documentaire, --conf écrit toujours la clé, et le cluster YARN conserve alors --jars sur childClasspath. La CVE-2023-22946 publique reste le chemin YARN --jars par défaut que clear() couvre déjà. Ce reliquat est defaultExtraClassPath non protégé.
L'usurpation Hadoop après une soumission propre reste l'utilisateur proxy pour l'AM YARN / le driver k8s. Ce reliquat ne concerne que la JVM de la passerelle.
| Méthode | Point de chute | Reconnaissance | Intégrité | Disponibilité | Provenance |
|---|---|---|---|---|---|
Soumission de type Livy --proxy-user + cluster yarn/k8s/standalone + --conf spark.driver.defaultExtraClassPath=<staged local jar>, drapeau SPARK-41958 laissé à false | SparkSubmitCommandBuilder.buildSparkSubmitCommand SparkSubmitCommandBuilder.java:317-327 première entrée de -cp | Lister/lire les fichiers que l'UID de la passerelle peut lire (répertoire keytab, spark-defaults, staging local). L'identité Hadoop des RPC ultérieurs reste l'utilisateur proxy. | Charger des classes du locataire à l'intérieur de la JVM spark-submit. L'UID Unix reste celui de la passerelle (superutilisateur proxy Hadoop). Lab : defaultExtraClassPath-on-cp=yes childClasspath-cleared=yes lab.WitnessMain a écrit SPARK-PROXYUSER-CLASSPATH-WITNESS. Déduit de la classe CVE publique : superposition de ressources Configuration Hadoop / résolution d'implémentation FileSystem avec cet UID. | Crash de la JVM de soumission si la superposition lève une exception. Pas la classe. | Chargement prouvé en lab + écriture témoin avec le -cp construit. Superposition Hadoop déduite. Passthrough --conf de Livy/Kyuubi déduit (ces arbres ne sont pas ce pin). |
Même soumission avec --conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true plus --jars / ressource primaire | SparkSubmit.prepareSubmitEnvironment SparkSubmit.scala:333-336,738-743,917-924 puis runMain :980-987 | Même reconnaissance que le parcours A, sur l'URLClassLoader enfant plutôt que le chargeur système. | Conserver --jars sur childClasspath pour que addJarToClasspath s'exécute. Lab : conf-flag-keeps-jars=yes. | Idem. | Maintien de childClasspath prouvé en lab. Pas un nouveau signalement du chemin YARN --jars public que clear() couvre lorsque le drapeau reste à false. |
Prouvé en lab vs déduit : le -cp construit contient defaultExtraClassPath en mode cluster ; childClasspath.clear() s'exécute toujours avec le drapeau par défaut ; spark.driver.extraClassPath est omis en cluster ; --jars avec le drapeau à false est effacé ; une classe témoin sur ce -cp écrit l'oracle. L'exécution de classes de configuration Hadoop est le mécanisme public de la CVE-2023-22946, non rejoué ici. La transmission de --conf par Livy/Kyuubi est l'architecture que ces projets documentent.
