Apache Spark 4.2.0 - Alta - Remoto - Gravação de arquivo - Connect archives hash-fragment dest
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
Write-up: https://abraxaslabs.tech/research/spark-connect-archive-fragment
Classe: Escrita de arquivo Alcance: Remoto
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
Nomes de AddArtifacts do Spark Connect no formato archives/<file>#<fragment> são divididos no caractere hash / cerquilha. Os bytes do zip passam por concatenatePaths. O fragmento não. Em seguida, SparkContext.addFile(..., isArchive=true) executa new File(root, uri.getFragment), deleteRecursively(dest) e unpack no driver. Os executores constroem o mesmo dest. O SPARK-33530 documentou #name como um nome de diretório sob SparkFiles. Um fragmento de ../<outside> é o dest.
O archives/<file>#../<path> do Connect descompacta e executa deleteRecursively fora do diretório SparkFiles da sessão como o UID do Spark.
| ID | ainda sem CVE |
| Classe | Escrita de arquivo |
| Alcance | Remoto (cliente Spark Connect; AddArtifacts com archive=True) |
| CWE | CWE-22 |
| CVSS | Alto: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| Produto | Apache Spark |
| Afetado | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) dest de fragmento hash de archives/ do Connect |
| Autenticação | Cliente Connect. O Connect padrão não tem PSK (spark.connect.authenticate.token não definido). PR:L se houver PSK / ACL de rede; PR:N no Connect aberto padrão. |
| Licença | GNU Affero GPL v3.0 |
| Lab | apenas 127.0.0.1 |
Fixe a tag v4.2.0 peel 32f72996 (2026-07-11, v4.2.0-rc6). O lab é um gadget Java da divisão de hash do StagedArtifact fixado, ArtifactUtils.concatenatePaths, new File(root, fragment), deleteRecursively e descompactação de zip contida no dest. HTTP em loopback em 127.0.0.1:18930. O PySpark oficial já copia um fragmento de URI para o nome do arquivo.
Isto não é RCE. Membros de zip que escapam do dest são rejeitados (classe Hadoop FileUtil.unZip / HADOOP-13649). O que resta é o próprio dest.
| Método | Sink | Privilégio |
|---|---|---|
Conectar AddArtifacts nome archives/<file>#../<outside> | SparkContext.addFile dest new File(root, uri.getFragment) depois Utils.unpack (SparkContext.scala:1891-1900) | Integridade (comprovado em laboratório): grava membros do arquivo como o UID do Spark fora do SparkFiles da sessão. Dest do laboratório canônico /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS, uid 1000, dest-outside=yes. |
| Mesmo dest, antes do unpack | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | Disponibilidade (comprovado em laboratório): canário do dest removido. Laboratório deleteRecursively=yes; canary.txt sob o dest não sobreviveu. Irmão /lab/oracle/canary-keep.txt mantido. |
| Mesma primitiva em cada executor que busca o arquivo | Executor dest new File(root, sourceURI.getFragment) depois deleteRecursively + unpack (Executor.scala:1468-1477) | Integridade / disponibilidade (inferido): mesma construção de dest nos executors. O laboratório é o gadget do lado do driver. |
Nome do artefato files/../../... ou archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | Fechado (comprovado em laboratório): INVALID_ARTIFACT_PATH. |
Fragmento absoluto Unix /abs | new File(root, "/abs") | Fechado no Unix (comprovado em laboratório): o pai não é ignorado; o dest é unido sob a raiz. Dest do laboratório /lab/root/lab/oracle/abs-..., outside=false, canário abs mantido. |
Adição de jars/ / classes/ na própria sessão | URLClassLoader da sessão | Fechado como resíduo: o carregamento de JAR na própria sessão é por design. Não é este achado. |
| Carregamento de jar entre sessões | Isolamento do Connect spark.sql.artifact.isolation.enabled=true | Fechado: sessões isoladas leem addedJars(sessionUUID). |
Comprovado em laboratório vs inferido: dest com fragmento hash fora do SparkFiles, canário do dest apagado, canário irmão mantido, concatenação de nome files/ e archives/ rejeitada, fragmento absoluto Unix unido sob a raiz, uid 1000, unpack de zip contido no dest: laboratório. Busca do mesmo dest pelo executor: inferido (mesmo construtor). Sobrescrita de uma classe carregada posteriormente no classpath do driver: cadeia inferida, não demonstrada, não inflada para RCE.
Requer: um cliente Connect que consiga AddArtifacts com archive=True. O PySpark oficial spark.addArtifact(..., archive=True) já coloca um fragmento de URI não vazio no nome (python/pyspark/sql/connect/client/artifact.py:223-236). O Connect padrão não tem PSK.
| Superfície | Laboratório |
|---|---|
Nome de artefato .. / absoluto via concatenatePaths | files-concat=rejected INVALID_ARTIFACT_PATH |
Travessia no nome archives/ archives/../../... | mesmo INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | dest sob a raiz; canário oracle abs mantido |
| Zip-slip de membro de zip sob um dest contido | o gadget rejeita membros que escapam do dest (classe HADOOP-13649). Não é este resíduo. |
Concatenação de caminho files/ (sem divisão por hash) | o fragmento não é considerado; o nome continua concatenatePaths |
| Isolamento de jar entre sessões | padrão ativado para Connect |
| SQL / Python sem autenticação em Connect aberto | submissão de job por design (SECURITY.md FAQ). Não é este resíduo. |
| Submissão de job / carregamento de modelo ML | por design |
StagedArtifact divide apenas nomes que começam com archives mais o File.separator do servidor, e apenas em #:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) é preparado via concatenatePaths. splits(1) é mantido como fragment. ArtifactManager anexa esse fragmento ao URI do file-server da sessão e chama SparkContext.addArchive. Dest é new File(root, uri.getFragment). SPARK-33530 testa sc.addArchive(s"${jarFile.getAbsolutePath}#foo") como um nome de diretório sob SparkFiles.
A primeira passagem do Hunt alegou que um fragmento absoluto Unix ignora root (o java.io.File ignora o pai para filhos absolutos). No Unix, new File(root, "/abs") remove a barra inicial e junta sob root. O pai é ignorado apenas no Windows. O caminho High nesta fixação é #../.
cd lab
./run.sh
Loopback 127.0.0.1:18930. Projeto Compose spark-connect-archive-fragment. Imagem eclipse-temurin:21-jdk-jammy, uid de runtime 1000. Testemunho SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS. Última linha:
Descubra as ferramentas mais usadas pela nossa comunidade.
Sem dados de popularidade ainda.