Apache Spark 4.2.0 — высокий — удалённый — запись файла — Connect archives hash-fragment dest
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
Разбор: https://abraxaslabs.tech/research/spark-connect-archive-fragment
Класс: запись файлов Доступ: удалённый
Apache Spark 4.2.0 (32f72996) — Apache Software Foundation
Имена AddArtifacts в Spark Connect вида archives/<file>#<fragment> разделяются по символу решётки / знаку номера. Байты zip проходят через concatenatePaths. Фрагмент — нет. Затем SparkContext.addFile(..., isArchive=true) выполняет new File(root, uri.getFragment), deleteRecursively(dest) и unpack на драйвере. Исполнители строят тот же dest. В SPARK-33530 #name задокументирован как имя каталога внутри SparkFiles. Фрагмент ../<outside> и есть dest.
Connect archives/<file>#../<path> распаковывает и выполняет deleteRecursively вне каталога SparkFiles сессии от имени Spark UID.
| ID | CVE пока нет |
| Класс | запись файлов |
| Доступ | удалённый (клиент Spark Connect; AddArtifacts с archive=True) |
| CWE | CWE-22 |
| CVSS | High: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| Продукт | Apache Spark |
| Затронуто | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) Connect archives/ dest из хеш-фрагмента |
| Аутентификация | Клиент Connect. По умолчанию в Connect нет PSK (spark.connect.authenticate.token не задан). PR:L при PSK / сетевом ACL; PR:N при открытом Connect по умолчанию. |
| Лицензия | GNU Affero GPL v3.0 |
| Лаборатория | только 127.0.0.1 |
Я зафиксировал тег v4.2.0 peel 32f72996 (2026-07-11, v4.2.0-rc6). Лаборатория — это Java-гаджет зафиксированного разбиения хеша в StagedArtifact, ArtifactUtils.concatenatePaths, new File(root, fragment), deleteRecursively и распаковки zip с ограничением dest. HTTP по loopback на 127.0.0.1:18930. Официальный PySpark уже копирует фрагмент URI в имя архива.
Это не RCE. Члены zip, выходящие за пределы dest, отклоняются (класс Hadoop FileUtil.unZip / HADOOP-13649). Остаётся сам dest.
| Метод | Sink | Привилегия |
|---|---|---|
Connect AddArtifacts name archives/<file>#../<outside> | SparkContext.addFile dest new File(root, uri.getFragment) затем Utils.unpack (SparkContext.scala:1891-1900) | Целостность (доказано в лаборатории): запись членов архива от имени Spark UID вне сессионных SparkFiles. Лабораторный dest canonical /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS, uid 1000, dest-outside=yes. |
| Тот же dest, до распаковки | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | Доступность (доказано в лаборатории): dest-канарейка удалена. Лаборатория deleteRecursively=yes; canary.txt под dest не сохранился. Соседний /lab/oracle/canary-keep.txt сохранён. |
| Тот же примитив на каждом executor, который загружает архив | Executor dest new File(root, sourceURI.getFragment) затем deleteRecursively + unpack (Executor.scala:1468-1477) | Целостность / доступность (предположительно): та же конструкция dest на executor'ах. Лаборатория — это гаджет на стороне драйвера. |
Имя артефакта files/../../... или archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | Закрыто (доказано в лаборатории): INVALID_ARTIFACT_PATH. |
Unix-абсолютный фрагмент /abs | new File(root, "/abs") | Закрыто на Unix (доказано в лаборатории): родитель не игнорируется; dest присоединяется под root. Лабораторный dest /lab/root/lab/oracle/abs-..., outside=false, abs-канарейка сохранена. |
Добавление jars/ / classes/ в собственной сессии | сессионный URLClassLoader | Закрыто как остаточное: загрузка JAR в собственной сессии — по замыслу. Не относится к этой находке. |
| Загрузка jar из другой сессии | изоляция Connect spark.sql.artifact.isolation.enabled=true | Закрыто: изолированные сессии читают addedJars(sessionUUID). |
Доказано в лаборатории vs предположительно: dest с hash-фрагментом вне SparkFiles, dest-канарейка удалена, соседняя канарейка сохранена, конкатенация имён files/ и archives/ отклонена, Unix-абсолютный фрагмент присоединяется под root, uid 1000, распаковка zip с содержимым внутри dest: лаборатория. Загрузка того же dest на executor: предположительно (тот же конструктор). Перезапись позже загруженного класса в classpath драйвера: предполагаемая цепочка, не продемонстрирована, не раздута до RCE.
Требуется: клиент Connect, способный выполнить AddArtifacts с archive=True. Официальный PySpark spark.addArtifact(..., archive=True) уже помещает непустой URI-фрагмент в имя (python/pyspark/sql/connect/client/artifact.py:223-236). В Connect по умолчанию нет PSK.
| Поверхность | Лаборатория |
|---|---|
Имя артефакта .. / абсолютный путь через concatenatePaths | files-concat=rejected INVALID_ARTIFACT_PATH |
Обход имени archives/ через archives/../../... | тот же INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | dest под root; abs-канарейка oracle сохранена |
| Zip-slip члена zip под содержащимся в dest путём | гаджет отклоняет члены, выходящие за пределы dest (класс HADOOP-13649). Не это остаточное. |
Конкатенация пути files/ (без разделения по hash) | фрагмент не берётся; имя по-прежнему через concatenatePaths |
| Изоляция jar между сессиями | по умолчанию включена для Connect |
| Неаутентифицированный SQL / Python на открытом Connect | отправка задания по замыслу (SECURITY.md FAQ). Не это остаточное. |
| Отправка задания / загрузка ML-модели | по замыслу |
StagedArtifact разделяет только имена, которые начинаются с archives плюс серверный File.separator, и только по #:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) подготавливается через concatenatePaths. splits(1) сохраняется как fragment. ArtifactManager прикрепляет этот фрагмент к URI файлового сервера сессии и вызывает SparkContext.addArchive. Dest — это new File(root, uri.getFragment). SPARK-33530 тестирует sc.addArchive(s"${jarFile.getAbsolutePath}#foo") как имя каталога в SparkFiles.
Первая попытка Hunt утверждала, что абсолютный фрагмент Unix игнорирует root (игнорирование родителя в java.io.File для абсолютных дочерних путей). В Unix new File(root, "/abs") отбрасывает ведущую косую черту и присоединяет под root. Родитель игнорируется только в Windows. Проход High на этом пине — #../.
cd lab
./run.sh
Loopback 127.0.0.1:18930. Проект Compose spark-connect-archive-fragment. Образ eclipse-temurin:21-jdk-jammy, uid среды выполнения 1000. Свидетель SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS. Последняя строка: