Apache Spark 4.2.0 - Élevé - À distance - Écriture de fichier - Connect archives hash-fragment dest
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
Write-up : https://abraxaslabs.tech/research/spark-connect-archive-fragment
Classe : Écriture de fichier Portée : Distante
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
Les noms AddArtifacts de Spark Connect de la forme archives/<file>#<fragment> sont découpés sur le caractère dièse / signe numéro. Les octets du zip passent par concatenatePaths. Le fragment, lui, non. SparkContext.addFile(..., isArchive=true) exécute ensuite new File(root, uri.getFragment), deleteRecursively(dest) et unpack sur le driver. Les exécuteurs construisent la même dest. SPARK-33530 documentait #name comme nom de répertoire sous SparkFiles. Un fragment de ../<outside> constitue la dest.
Connect archives/<file>#../<path> décompresse et exécute deleteRecursively en dehors du répertoire SparkFiles de la session, sous l'UID Spark.
| ID | pas encore de CVE |
| Classe | Écriture de fichier |
| Portée | Distante (client Spark Connect ; AddArtifacts avec archive=True) |
| CWE | CWE-22 |
| CVSS | Élevé : 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| Produit | Apache Spark |
| Affecté | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) dest du fragment de hash archives/ de Connect |
| Auth | Client Connect. Connect par défaut n'a pas de PSK (spark.connect.authenticate.token non défini). PR:L si PSK / ACL réseau ; PR:N sur un Connect ouvert par défaut. |
| Licence | GNU Affero GPL v3.0 |
| Lab | 127.0.0.1 uniquement |
J'ai épinglé le tag v4.2.0 peel 32f72996 (2026-07-11, v4.2.0-rc6). Le lab est un gadget Java du découpage de hash StagedArtifact épinglé, ArtifactUtils.concatenatePaths, new File(root, fragment), deleteRecursively, et la décompression zip confinée à la dest. HTTP en boucle locale sur 127.0.0.1:18930. PySpark officiel copie déjà un fragment d'URI dans le nom de l'archive.
Ce n'est pas une RCE. Les membres de zip qui sortent de la dest sont rejetés (classe Hadoop FileUtil.unZip / HADOOP-13649). Ce qui reste, c'est la dest elle-même.
| Méthode | Sink | Privilège |
|---|---|---|
Connect AddArtifacts nom archives/<file>#../<outside> | SparkContext.addFile dest new File(root, uri.getFragment) puis Utils.unpack (SparkContext.scala:1891-1900) | Intégrité (prouvé en labo) : écrire les membres de l'archive en tant qu'UID Spark en dehors des SparkFiles de session. Dest labo canonique /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS, uid 1000, dest-outside=yes. |
| Même dest, avant unpack | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | Disponibilité (prouvé en labo) : canari dest disparu. Labo deleteRecursively=yes ; canary.txt sous dest n'a pas survécu. Le fichier voisin /lab/oracle/canary-keep.txt conservé. |
| Même primitive sur chaque executor qui récupère l'archive | Executor dest new File(root, sourceURI.getFragment) puis deleteRecursively + unpack (Executor.scala:1468-1477) | Intégrité / disponibilité (inféré) : même construction de dest sur les executors. Le labo est le gadget côté driver. |
Nom d'artefact files/../../... ou archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | Fermé (prouvé en labo) : INVALID_ARTIFACT_PATH. |
Fragment absolu Unix /abs | new File(root, "/abs") | Fermé sous Unix (prouvé en labo) : le parent n'est pas ignoré ; dest se joint sous root. Dest labo /lab/root/lab/oracle/abs-..., outside=false, canari abs conservé. |
Ajout jars/ / classes/ de sa propre session | URLClassLoader de session | Fermé comme résidu : le chargement de JAR de sa propre session est par conception. Pas cette découverte. |
| Chargement de jar inter-session | Isolation Connect spark.sql.artifact.isolation.enabled=true | Fermé : les sessions isolées lisent addedJars(sessionUUID). |
Prouvé en labo vs inféré : dest à fragment de hash en dehors des SparkFiles, canari dest supprimé, canari voisin conservé, concaténation de nom files/ et archives/ rejetée, fragment absolu Unix se joint sous root, uid 1000, unpack zip contenu dans dest : labo. Récupération par l'executor du même dest : inféré (même constructeur). Écrasement d'une classe chargée ultérieurement sur le classpath du driver : chaîne inférée, non démontrée, non gonflée en RCE.
Nécessite : un client Connect capable de AddArtifacts avec archive=True. Le spark.addArtifact(..., archive=True) officiel de PySpark place déjà un fragment d'URI non vide dans le nom (python/pyspark/sql/connect/client/artifact.py:223-236). Connect par défaut n'a pas de PSK.
| Surface | Labo |
|---|---|
Nom d'artefact .. / absolu via concatenatePaths | files-concat=rejected INVALID_ARTIFACT_PATH |
Parcours du nom archives/ archives/../../... | même INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | dest sous root ; canari oracle abs conservé |
| Zip-slip de membre zip sous un dest contenu | le gadget rejette les membres qui s'échappent du dest (classe HADOOP-13649). Pas ce résidu. |
Concaténation de chemin files/ (sans découpage sur hash) | le fragment n'est pas pris ; le nom reste concatenatePaths |
| Isolation de jar inter-session | activée par défaut pour Connect |
| SQL / Python non authentifié sur Connect ouvert | soumission de job par conception (FAQ SECURITY.md). Pas ce résidu. |
| Soumission de job / chargement de modèle ML | par conception |
StagedArtifact ne découpe que les noms qui commencent par archives plus le File.separator du serveur, et uniquement sur # :
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) est mis en scène via concatenatePaths. splits(1) est conservé comme fragment. ArtifactManager attache ce fragment à l'URI du serveur de fichiers de la session et appelle SparkContext.addArchive. Dest est new File(root, uri.getFragment). SPARK-33530 teste sc.addArchive(s"${jarFile.getAbsolutePath}#foo") comme nom de répertoire sous SparkFiles.
La première passe de Hunt affirmait qu'un fragment absolu Unix ignore root (java.io.File ignore le parent pour les enfants absolus). Sous Unix, new File(root, "/abs") supprime la barre oblique initiale et joint sous root. Le parent n'est ignoré que sous Windows. Le parcours High sur ce pin est #../.
cd lab
./run.sh
Loopback 127.0.0.1:18930. Projet Compose spark-connect-archive-fragment. Image eclipse-temurin:21-jdk-jammy, uid d'exécution 1000. Témoin SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS. Dernière ligne :