Apache Spark 4.2.0 - Alta - Remota - Escritura de archivos - Connect archives hash-fragment dest
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
Análisis: https://abraxaslabs.tech/research/spark-connect-archive-fragment
Clase: Escritura de archivos Alcance: Remoto
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
Los nombres de AddArtifacts de Spark Connect con la forma archives/<file>#<fragment> se dividen por el carácter de almohadilla / numeral. Los bytes del zip pasan por concatenatePaths. El fragmento no. Después, SparkContext.addFile(..., isArchive=true) ejecuta new File(root, uri.getFragment), deleteRecursively(dest) y unpack en el driver. Los ejecutores construyen el mismo dest. SPARK-33530 documentó #name como un nombre de directorio bajo SparkFiles. Un fragmento de ../<outside> es el dest.
Connect archives/<file>#../<path> descomprime y ejecuta deleteRecursively fuera del directorio SparkFiles de la sesión con el UID de Spark.
| ID | aún sin CVE |
| Clase | Escritura de archivos |
| Alcance | Remoto (cliente de Spark Connect; AddArtifacts con archive=True) |
| CWE | CWE-22 |
| CVSS | Alto: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| Producto | Apache Spark |
| Afectado | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) dest del fragmento hash de Connect archives/ |
| Autenticación | Cliente de Connect. Connect por defecto no tiene PSK (spark.connect.authenticate.token sin definir). PR:L si hay PSK / ACL de red; PR:N en Connect abierto por defecto. |
| Licencia | GNU Affero GPL v3.0 |
| Laboratorio | solo 127.0.0.1 |
Fijé la etiqueta v4.2.0 peel 32f72996 (2026-07-11, v4.2.0-rc6). El laboratorio es un gadget Java de la división por hash de StagedArtifact fijada, ArtifactUtils.concatenatePaths, new File(root, fragment), deleteRecursively y descompresión zip contenida en dest. HTTP en loopback sobre 127.0.0.1:18930. PySpark oficial ya copia un fragmento de URI en el nombre del archivo.
Esto no es RCE. Los miembros del zip que escapan de dest son rechazados (clase Hadoop FileUtil.unZip / HADOOP-13649). Lo que queda es el propio dest.
| Método | Sink | Privilegio |
|---|---|---|
Conectar AddArtifacts nombre archives/<file>#../<outside> | SparkContext.addFile dest new File(root, uri.getFragment) luego Utils.unpack (SparkContext.scala:1891-1900) | Integridad (probado en laboratorio): escribir miembros del archivo como el UID de Spark fuera de los SparkFiles de la sesión. Dest de laboratorio canónico /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS, uid 1000, dest-outside=yes. |
| Mismo dest, antes de unpack | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | Disponibilidad (probado en laboratorio): el canario de dest desapareció. Laboratorio deleteRecursively=yes; canary.txt bajo dest no sobrevivió. El hermano /lab/oracle/canary-keep.txt se conservó. |
| Misma primitiva en cada executor que obtiene el archivo | Executor dest new File(root, sourceURI.getFragment) luego deleteRecursively + unpack (Executor.scala:1468-1477) | Integridad / disponibilidad (inferido): misma construcción de dest en los executors. El laboratorio es el gadget del lado del driver. |
Nombre de artefacto files/../../... o archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | Cerrado (probado en laboratorio): INVALID_ARTIFACT_PATH. |
Fragmento absoluto Unix /abs | new File(root, "/abs") | Cerrado en Unix (probado en laboratorio): el padre no se ignora; dest se une bajo root. Dest de laboratorio /lab/root/lab/oracle/abs-..., outside=false, canario abs conservado. |
Adición de jars/ / classes/ de la propia sesión | URLClassLoader de la sesión | Cerrado como remanente: la carga de JAR de la propia sesión es por diseño. No es este hallazgo. |
| Carga de jar entre sesiones | Aislamiento de Connect spark.sql.artifact.isolation.enabled=true | Cerrado: las sesiones aisladas leen addedJars(sessionUUID). |
Probado en laboratorio vs inferido: dest con fragmento hash fuera de SparkFiles, canario de dest eliminado, canario hermano conservado, concatenación de nombres files/ y archives/ rechazada, fragmento absoluto Unix se une bajo root, uid 1000, unpack de zip contenido en dest: laboratorio. Obtención del mismo dest por el executor: inferido (mismo constructor). Sobrescritura de una clase cargada posteriormente en el classpath del driver: cadena inferida, no demostrada, no inflada a RCE.
Requiere: un cliente Connect que pueda AddArtifacts con archive=True. El spark.addArtifact(..., archive=True) oficial de PySpark ya coloca un fragmento de URI no vacío en el nombre (python/pyspark/sql/connect/client/artifact.py:223-236). Connect por defecto no tiene PSK.
| Superficie | Laboratorio |
|---|---|
Nombre de artefacto .. / absoluto a través de concatenatePaths | files-concat=rejected INVALID_ARTIFACT_PATH |
Recorrido de nombre archives/ archives/../../... | mismo INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | dest bajo root; canario abs oracle conservado |
| Zip-slip de miembro zip bajo un dest contenido | el gadget rechaza miembros que escapan del dest (clase HADOOP-13649). No es este remanente. |
Concatenación de ruta files/ (sin división por hash) | el fragmento no se toma; el nombre sigue siendo concatenatePaths |
| Aislamiento de jar entre sesiones | activado por defecto para Connect |
| SQL / Python sin autenticación en Connect abierto | envío de trabajos por diseño (SECURITY.md FAQ). No es este remanente. |
| Envío de trabajos / carga de modelos ML | por diseño |
StagedArtifact solo divide nombres que comienzan con archives más el File.separator del servidor, y solo en #:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) se prepara mediante concatenatePaths. splits(1) se conserva como fragment. ArtifactManager adjunta ese fragmento al URI del servidor de archivos de la sesión y llama a SparkContext.addArchive. El destino es new File(root, uri.getFragment). Las pruebas de SPARK-33530 usan sc.addArchive(s"${jarFile.getAbsolutePath}#foo") como nombre de directorio bajo SparkFiles.
La primera pasada de Hunt afirmó que un fragmento absoluto de Unix ignora root (ignorar el padre en java.io.File para hijos absolutos). En Unix, new File(root, "/abs") elimina la barra inicial y se une bajo root. El padre se ignora solo en Windows. El recorrido High en este pin es #../.
cd lab
./run.sh