Apache Spark 4.2.0 - Alta - Remoto - Privilegio residual - proxy-user defaultExtraClassPath
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-proxyuser-classpath
Análisis: https://abraxaslabs.tech/research/spark-proxyuser-classpath
Clase: Privilegio residual (residuo de CVE-2023-22946 / SPARK-41958) Alcance: Remoto
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2023-22946 / SPARK-41958 sigue estableciendo por defecto spark.submit.proxyUser.allowCustomClasspathInClusterMode en false y sigue ejecutando childClasspath.clear() en el envío en modo cluster con --proxy-user. Esa es la ruta pública de YARN --jars. Spark 4.0 añadió entonces spark.driver.defaultExtraClassPath. El lanzador siempre antepone esa clave al -cp de la JVM de spark-submit, incluso en modo cluster. SPARK-41958 nunca la ve.
Un inquilino al estilo Livy todavía puede cargar un jar preparado dentro de la JVM del gateway spark-submit. El UserGroupInformation.doAs de Hadoop no cambia ese UID de Unix.
| ID | aún sin CVE |
| Clase | Privilegio residual (residuo de CVE-2023-22946 / SPARK-41958) |
| Alcance | Remoto (envío de trabajo --proxy-user al estilo Livy a través del gateway) |
| CWE | CWE-269, CWE-427 |
| CVSS | Alto: 8.8 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:H/I:H/A:H |
| Producto | Apache Spark |
| Afectado | Apache Spark 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) |
| Autenticación | inquilino autenticado de un gateway al estilo Livy / Kyuubi / Oozie que reenvía --conf y --jars preparados a spark-submit --proxy-user ... --deploy-mode cluster |
| Licencia | GNU Affero GPL v3.0 |
| Laboratorio | solo 127.0.0.1:18950. Archivo testigo. Gadget de los recorridos citados del lanzador / envío. |
Tener una cuenta de inquilino en un gateway Spark multiinquilino (Livy, Kyuubi, Oozie y similares) que ejecuta spark-submit --proxy-user <tenant> --deploy-mode cluster como un UID de superusuario. Preparar un jar que la JVM del gateway pueda abrir. Enviar --conf spark.driver.defaultExtraClassPath=<staged jar>. La comprobación de SPARK-41958 puede permanecer en false. El spark-submit -cp construido sigue comenzando con ese jar. Las clases que contiene se cargan con el UID de Unix del gateway.
--conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true es un segundo recorrido: .internal() es solo documentación, --conf sigue escribiendo la clave, y el cluster de YARN entonces mantiene --jars en childClasspath. El CVE-2023-22946 público sigue siendo la ruta por defecto de YARN --jars que clear() ya cubre. Este residuo es defaultExtraClassPath sin comprobación.
La suplantación de Hadoop tras un envío limpio sigue siendo el usuario proxy para el AM de YARN / driver de k8s. Este residuo es solo la JVM del gateway.
| Método | Sink | Recon | Integridad | Disponibilidad | Procedencia |
|---|---|---|---|---|---|
Envío estilo Livy --proxy-user + clúster yarn/k8s/standalone + --conf spark.driver.defaultExtraClassPath=<staged local jar>, flag SPARK-41958 dejado en false | SparkSubmitCommandBuilder.buildSparkSubmitCommand SparkSubmitCommandBuilder.java:317-327 primera entrada de -cp | Listar/leer archivos que el UID del gateway puede leer (directorio keytab, spark-defaults, staging local). La identidad Hadoop de las RPC posteriores sigue siendo el usuario proxy. | Cargar clases del tenant dentro de la JVM de spark-submit. El UID Unix sigue siendo el gateway (superusuario del proxy Hadoop). Lab: defaultExtraClassPath-on-cp=yes childClasspath-cleared=yes lab.WitnessMain escribió SPARK-PROXYUSER-CLASSPATH-WITNESS. Inferido a partir de la clase pública de CVE: superposición de recursos de Configuration de Hadoop / búsqueda de implementación de FileSystem como ese UID. | Caída de la JVM de envío si la superposición lanza una excepción. No la clase. | Carga + escritura de testigo probadas en lab tal como se construyó el -cp. Superposición de Hadoop inferida. Passthrough de --conf de Livy/Kyuubi inferido (esos árboles no son este pin). |
Mismo envío con --conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true más --jars / recurso primario | SparkSubmit.prepareSubmitEnvironment SparkSubmit.scala:333-336,738-743,917-924 luego runMain :980-987 | Mismo recon que el recorrido A, sobre el URLClassLoader hijo en lugar del cargador del sistema. | Mantener --jars en childClasspath para que se ejecute addJarToClasspath. Lab: conf-flag-keeps-jars=yes. | Igual. | Conservación de childClasspath probada en lab. No es una reapertura de la ruta pública --jars de YARN que clear() cubre cuando el flag permanece en false. |
Probado en lab vs inferido: el -cp construido contiene defaultExtraClassPath en modo cluster; childClasspath.clear() sigue ejecutándose con el flag por defecto; spark.driver.extraClassPath se omite en cluster; --jars con el flag en false se limpia; una clase testigo en ese -cp escribe el oráculo. La ejecución de clases de configuración de Hadoop es el mecanismo público de CVE-2023-22946, no se reejecuta aquí. El reenvío de --conf por Livy/Kyuubi es la arquitectura que documentan esos proyectos.