Apache Spark 4.2.0 - Hoch - Remote - Dateischreiben - Connect archives hash-fragment dest
Entdecken Sie die meistgenutzten Tools unserer Community.
Noch keine Beliebtheitsdaten.
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
Write-up: https://abraxaslabs.tech/research/spark-connect-archive-fragment
Klasse: Dateischreiben Reichweite: Remote
Apache Spark 4.2.0 (32f72996) – Apache Software Foundation
Spark Connect AddArtifacts-Namen der Form archives/<file>#<fragment> werden am Hash- / Rautezeichen getrennt. Die Zip-Bytes durchlaufen concatenatePaths. Das Fragment nicht. SparkContext.addFile(..., isArchive=true) führt dann new File(root, uri.getFragment), deleteRecursively(dest) und unpack auf dem Driver aus. Executors bauen dasselbe Ziel. SPARK-33530 dokumentierte #name als Verzeichnisnamen unter SparkFiles. Ein Fragment von ../<outside> ist das Ziel.
Connect archives/<file>#../<path> entpackt und führt deleteRecursively außerhalb des SparkFiles-Verzeichnisses der Sitzung als Spark-UID aus.
| ID | noch keine CVE |
| Klasse | Dateischreiben |
| Reichweite | Remote (Spark-Connect-Client; AddArtifacts mit archive=True) |
| CWE | CWE-22 |
| CVSS | Hoch: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| Produkt | Apache Spark |
| Betroffen | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) Connect archives/ Hash-Fragment-Ziel |
| Auth | Connect-Client. Standard-Connect hat kein PSK (spark.connect.authenticate.token nicht gesetzt). PR:L bei PSK / Netzwerk-ACL; PR:N bei standardmäßig offenem Connect. |
| Lizenz | GNU Affero GPL v3.0 |
| Lab | nur 127.0.0.1 |
Ich habe den Tag v4.2.0 Peel 32f72996 (2026-07-11, v4.2.0-rc6) gepinnt. Das Lab ist ein Java-Gadget der gepinnten StagedArtifact-Hash-Aufteilung, ArtifactUtils.concatenatePaths, new File(root, fragment), deleteRecursively und zielbegrenztem Zip-Entpacken. Loopback-HTTP auf 127.0.0.1:18930. Offizielles PySpark kopiert bereits ein URI-Fragment in den Archivnamen.
Dies ist kein RCE. Zip-Member, die aus dem Ziel herauslaufen, werden abgelehnt (Hadoop FileUtil.unZip / HADOOP-13649-Klasse). Was übrig bleibt, ist das Ziel selbst.
| Methode | Sink | Berechtigung |
|---|---|---|
Connect AddArtifacts-Name archives/<file>#../<outside> | SparkContext.addFile-Ziel new File(root, uri.getFragment), dann Utils.unpack (SparkContext.scala:1891-1900) | Integrität (im Labor nachgewiesen): Archivmitglieder als Spark-UID außerhalb der Session-SparkFiles schreiben. Laborziel kanonisch /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS, uid 1000, dest-outside=yes. |
| Gleiches Ziel, vor dem Entpacken | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | Verfügbarkeit (im Labor nachgewiesen): Ziel-Canary verschwunden. Labor deleteRecursively=yes; canary.txt unter dem Ziel hat nicht überlebt. Benachbarte /lab/oracle/canary-keep.txt blieb erhalten. |
| Gleiches Primitiv auf jedem Executor, der das Archiv abruft | Executor-Ziel new File(root, sourceURI.getFragment), dann deleteRecursively + unpack (Executor.scala:1468-1477) | Integrität / Verfügbarkeit (abgeleitet): gleiche Zielkonstruktion auf Executors. Das Labor ist das Gadget auf der Driver-Seite. |
Artefakt-Name files/../../... oder archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | Geschlossen (im Labor nachgewiesen): INVALID_ARTIFACT_PATH. |
Unix-absolutes Fragment /abs | new File(root, "/abs") | Geschlossen unter Unix (im Labor nachgewiesen): Parent wird nicht ignoriert; Ziel wird unter root zusammengeführt. Laborziel /lab/root/lab/oracle/abs-..., outside=false, abs-Canary blieb erhalten. |
Hinzufügen von jars/ / classes/ in eigener Session | Session-URLClassLoader | Als Restbefund geschlossen: JAR-Laden in eigener Session ist beabsichtigt. Nicht dieser Befund. |
| JAR-Laden über Sessions hinweg | Connect-Isolation spark.sql.artifact.isolation.enabled=true | Geschlossen: isolierte Sessions lesen addedJars(sessionUUID). |
Im Labor nachgewiesen vs. abgeleitet: Hash-Fragment-Ziel außerhalb von SparkFiles, Ziel-Canary gelöscht, benachbarter Canary erhalten, Namensverkettung von files/ und archives/ abgelehnt, Unix-absolutes Fragment wird unter root zusammengeführt, uid 1000, zielbeschränktes Zip-Entpacken: Labor. Executor-Abruf desselben Ziels: abgeleitet (gleicher Konstruktor). Überschreiben einer später geladenen Klasse im Driver-Classpath: abgeleitete Kette, nicht demonstriert, nicht zu RCE hochgestuft.
Erfordert: einen Connect-Client, der AddArtifacts mit archive=True ausführen kann. Offizielles PySpark spark.addArtifact(..., archive=True) setzt bereits ein nicht-leeres URI-Fragment in den Namen (python/pyspark/sql/connect/client/artifact.py:223-236). Standard-Connect hat kein PSK.
| Oberfläche | Labor |
|---|---|
Artefaktname .. / absolut über concatenatePaths | files-concat=rejected INVALID_ARTIFACT_PATH |
archives/-Namens-Traversal archives/../../... | gleiches INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | Ziel unter root; abs-Oracle-Canary erhalten |
| Zip-Member-Zip-Slip unter einem eingeschränkten Ziel | Gadget lehnt Member ab, die das Ziel verlassen (Klasse HADOOP-13649). Nicht dieser Restbefund. |
files/-Pfadverkettung (keine Hash-Aufteilung) | Fragment wird nicht übernommen; Name weiterhin concatenatePaths |
| JAR-Isolation über Sessions hinweg | standardmäßig aktiv für Connect |
| Unauth SQL / Python auf offenem Connect | beabsichtigte Job-Übermittlung (SECURITY.md FAQ). Nicht dieser Restbefund. |
| Job-Übermittlung / ML-Modell-Laden | beabsichtigt |
StagedArtifact teilt nur Namen, die mit archives plus dem Server-File.separator beginnen, und nur bei #:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) wird über concatenatePaths bereitgestellt. splits(1) wird als fragment beibehalten. ArtifactManager hängt dieses Fragment an die Datei-Server-URI der Sitzung an und ruft SparkContext.addArchive auf. Dest ist new File(root, uri.getFragment). SPARK-33530 testet sc.addArchive(s"${jarFile.getAbsolutePath}#foo") als Verzeichnisnamen unter SparkFiles.
Der erste Hunt-Durchlauf behauptete, ein Unix-absolutes Fragment ignoriere root (java.io.File ignoriert das übergeordnete Element bei absoluten Kindern). Unter Unix entfernt new File(root, "/abs") den führenden Schrägstrich und fügt unter root zusammen. Das übergeordnete Element wird nur unter Windows ignoriert. Der High-Walk bei diesem Pin ist #../.
cd lab
./run.sh