Apache Spark 4.2.0 - Alta - Remoto - Gravação de arquivo - Sessão Connect SET copyFromLocalToFs.allowDestLocal
Descubra as ferramentas mais usadas pela nossa comunidade.
Sem dados de popularidade ainda.
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-copy-local
Write-up: https://abraxaslabs.tech/research/spark-connect-copy-local
Classe: Escrita de arquivo (resíduo do SPARK-58531; estático apenas no 4.3.0) Alcance: Remoto
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
spark.sql.artifact.copyFromLocalToFs.allowDestLocal ainda é buildConf (configurável por sessão) neste pin. O SPARK-58531 o moveu para StaticSQLConf no 4.3.0. Uma sessão Connect pode definir via SET o gate de destino local exclusivo para testes e, em seguida, copyFromLocalToFs / AddArtifacts forward_to_fs/<abs> sobrescreve um caminho local do driver com o UID do Spark.
A sessão Connect define via SET e depois forward_to_fs grava arquivos locais do driver. O destino deve ser LocalFileSystem. Não é RCE.
| ID | ainda sem CVE (resíduo do SPARK-58531) |
| Classe | Escrita de arquivo (resíduo do SPARK-58531; estático apenas no 4.3.0) |
| Alcance | Remoto (Spark Connect Config + AddArtifacts) |
| CWE | CWE-22, CWE-732 |
| CVSS | Alto: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| Produto | Apache Spark (ASF) |
| Afetado | Apache Spark 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8). O 4.3.0 é estático. |
| Autenticação | Cliente Connect capaz de ConfigRequest.SET e AddArtifacts. O Connect padrão não tem PSK. |
| Licença | GNU Affero GPL v3.0 |
| Lab | apenas 127.0.0.1:18920 |
Um cliente Spark Connect que consiga alcançar o gRPC (porta de bind padrão 15002, sem PSK a menos que o operador tenha definido spark.connect.authenticate.token) pode desativar um gate exclusivo para testes com o qual o driver foi iniciado e, em seguida, sobrescrever um caminho local escolhido no driver com o UID do Spark.
| Método | Sink | Privilégio |
|---|---|---|
gRPC Config SET spark.sql.artifact.copyFromLocalToFs.allowDestLocal=true (ou SQL SET) | SparkConnectConfigHandler.handleSet -> RuntimeConfig.set -> SQLConf.setConfString | Integridade (conf de sessão, comprovado em lab): alterna o gate de destino local por sessão. Não grava um arquivo por si só. Não altera outras sessões. Lab: SET HTTP 200, modifiable=True. |
gRPC AddArtifacts nome forward_to_fs + destino absoluto, CRC ok | ArtifactManager.uploadArtifactToFs -> LocalFileSystem.copyFromLocalFile(delSrc=false, overwrite=true) | Integridade (sobrescrita de arquivo, comprovado em lab): grava/sobrescreve um caminho local do driver com o UID do Spark, fora de artifactRootDirectory/<sessionUUID>/. Lab: destino /oracle/SPARK-CONNECT-COPY-LOCAL-WITNESS, uid 185, conteúdo WITNESS. |
| Mesmo AddArtifacts para destino HDFS/S3/ABFS | copyFromLocalToFs documentado | Integridade (FS do cluster, por design): não é este resíduo. Destino que não seja LocalFileSystem nunca consulta o flag de teste. |
Comprovado em lab vs inferido: o SET de sessão da chave buildConf, seguido da escrita em destino LocalFileSystem como uid 185 fora do sandbox de artefatos, é comprovado em lab. A sobrescrita pelo UID do Spark de um caminho que o processo pode gravar (diretório de trabalho do driver, um drop gravável por todos, um script já executável que o operador executa depois) é inferida. Sem controle de RIP. Não inflar Escrita de arquivo para RCE.
Requer: Spark Connect escutando. Cliente que consiga definir (SET) a configuração SQL da sessão e AddArtifacts. O destino deve ser o Hadoop LocalFileSystem. O Connect padrão não tem PSK; se o operador definiu um token, o leftover ainda precisa desse Bearer compartilhado. É um bypass do controle de destino local, não um bypass de PSK.
| Superfície | Lab |
|---|---|
| Cópia sem SET | 400 _LEGACY_ERROR_TEMP_3161, destino ausente |
SET da antiga configuração estática spark.connect.copyFromLocalToFs.allowDestLocal | 400 CANNOT_MODIFY_STATIC_CONFIG |
Nome de artefato .. / staging absoluto (ArtifactUtils.concatenatePaths) | INVALID_ARTIFACT_PATH |
Artefatos que não são forward_to_fs | permanecem sob artifactRootDirectory/<sessionUUID>/ |
| Destino HDFS/cloud sem a flag | API documentada, não este leftover |
SQL não autenticado / UDF Python / UdfPacket Scala em Connect aberto | submissão de job do FAQ do fornecedor; DROP |
| SPARK-52122 ML DefaultParamsReader | allowlist + safeMLClassLoader neste pin |
Sem shell. Sem heap dump. Sem skip de PSK do Connect. O destino ainda precisa ser LocalFileSystem. A escrita é feita como o UID do Spark, não como root.
uploadArtifactToFs recusa um destino LocalFileSystem a menos que a flag de teste esteja ativada, com um comentário explícito de que, caso contrário, um usuário sobrescreve um arquivo arbitrário no driver:
if (fs.isInstanceOf[LocalFileSystem]) {
val allowDestLocalConf =
session.sessionState.conf.getConf(SQLConf.ARTIFACT_COPY_FROM_LOCAL_TO_FS_ALLOW_DEST_LOCAL)
.getOrElse(
session.conf.get("spark.connect.copyFromLocalToFs.allowDestLocal").contains("true"))
if (!allowDestLocalConf) {
throw new SparkUnsupportedOperationException("_LEGACY_ERROR_TEMP_3161")
}
}
fs.copyFromLocalFile(false, true, new FSPath(localPath.toString), destFSPath)
A chave 3.5 é estática, padrão false. A substituição 4.0 é buildConf opcional:
val ARTIFACT_COPY_FROM_LOCAL_TO_FS_ALLOW_DEST_LOCAL =
buildConf("spark.sql.artifact.copyFromLocalToFs.allowDestLocal")
.internal()
...
.booleanConf
.createOptional
buildConf não chama registerStaticConfigKey. isModifiable é containsConfigKey && !isStaticConfigKey. RuntimeConfig.set apenas rejeita chaves estáticas. Interno ainda é configurável. Após SET, getConf(ARTIFACT_...) retorna Some(true) e o fallback getOrElse para a conf estática antiga é ignorado.
SPARK-58531 / PR 57730 "Convert spark.sql.artifact.copyFromLocalToFs.allowDestLocal to a static conf" está resolvido em 2026-08-05, Fix Version 4.3.0. JIRA: a conf "controla se um chamador pode escrever em um caminho arbitrário no sistema de arquivos local do driver, portanto deve ser definida por quem inicia o driver." 4.2.0 está listado em Affects. Este pin ainda tem a conf de runtime.
Caminhos errados já registrados: tratar Connect SQL como um achado (FAQ); SET da chave estática antiga (CANNOT_MODIFY_STATIC_CONFIG); afirmar que um dest absoluto Unix ignora o pai (ele se junta sob a raiz); inflar a escrita de arquivo para RCE; fixar o 4.3.0 RC porque o JIRA está resolvido.
cd lab
./run.sh