Apache Spark 4.2.0 - Alta - Remoto - Privilégio remanescente - REST standalone ignora spark.authenticate
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rest-auth-bypass
Write-up: https://abraxaslabs.tech/research/spark-rest-auth-bypass
Classe: Privilégio residual Alcance: Remoto
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
O REST do Master standalone vem ativado por padrão na porta 6066 e nunca lê spark.authenticate. O CVE-2018-11770 prometeu o REST desativado por padrão e um fail-closed caso o segredo RPC estivesse definido enquanto o REST estivesse ativo. Esta versão reverteu ambos. MASTER_REST_SERVER_ENABLED é createWithDefault(true). Os filtros são apenas MASTER_REST_SERVER_FILTERS, padrão Nil. Um POST /v1/submissions/create não autenticado executa o main do atacante com o UID do Worker. O Worker injeta _SPARK_AUTH_SECRET, portanto o limite de 2018 de "driver sem executors" não se sustenta.
Este é um resíduo do 11770, não um novo RCE CVE-2020-9480. O RPC 7077 ainda instala AuthServerBootstrap. O envio de jobs em um cluster com spark.authenticate=false é o padrão documentado e não é este bug.
| ID | ainda sem CVE |
| Classe | Privilégio residual (resíduo do CVE-2018-11770) |
| Alcance | Remoto (HTTP não autenticado para o Master standalone 6066) |
| CWE | CWE-306, CWE-287 |
| CVSS | Alto: 8.8 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:H/A:H |
| Produto | Apache Spark |
| Afetado | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) REST do Master standalone |
| Autenticação | nenhuma no REST. O operador definiu spark.authenticate=true. REST mantido no padrão. |
| Licença | GNU Affero GPL v3.0 |
| Lab | apenas 127.0.0.1:18900. Imagem oficial spark:4.2.0. |
Fixe a tag v4.2.0, peel 32f7299601108917fb01920a54e084595b7b3bf8 (2026-07-11, v4.2.0-rc6). Não é master. Não é um RC da 4.3.
Alcançar o REST do Master standalone na 6066. Sem cabeçalho Authorization. spark.authenticate está ativado. spark.master.rest.filters não está definido. Pelo menos um Worker está ativo.
| Método | Sink | Privilégio |
|---|---|---|
POST /v1/submissions/create sem autenticação | RequestSubmitDriver (Master.scala:402-420) e depois Worker DriverWrapper classForName(mainClass).main | Integridade (comprovada em laboratório): executar o mainClass do atacante com o UID do Worker. Lab: driver RUNNING, arquivo testemunha. |
Mesmo create; Worker CommandUtils.buildLocalCommand | env do driver _SPARK_AUTH_SECRET | Integridade (comprovada em laboratório): o driver consegue entrar via SASL no cluster RPC autenticado. Lab: injected=yes. |
GET /v1/submissions/status/{id} sem autenticação | RequestDriverStatus (Master.scala:489-503) | Recon (comprovado em laboratório para o id criado): estado do driver / host do worker. |
GET /v1/submissions/readyz sem autenticação | RequestReadyz | Recon (comprovado em laboratório): Master não está em STANDBY. |
POST /v1/submissions/kill/{id} sem autenticação | RequestKillDriver (Master.scala:422-453) | Integridade + disponibilidade (inferido): interromper o driver standalone de outro tenant. Mesma configuração de servlet sem autenticação; não exercitado. |
POST /v1/submissions/killall sem autenticação | RequestKillAllDrivers (Master.scala:455-478) | Disponibilidade (inferido): encerrar todos os drivers standalone em espera/execução. Não exercitado. |
POST /v1/submissions/clear sem autenticação | RequestClearCompletedDriversAndApps | Integridade (inferido): descartar o registro de drivers/apps concluídos. Não exercitado. |
Comprovado em laboratório vs inferido: create, injeção de secret, status do próprio id e readyz são de laboratório. Kill / killall / clear são inferidos a partir do mesmo mapa de servlet sem autenticação.
Requer: Master standalone (não YARN/K8s). Operador definiu spark.authenticate=true. REST mantido no padrão (spark.master.rest.enabled true, spark.master.rest.filters não definido). Caminho de rede até o Master 6066. Pelo menos um Worker. Não é o cluster documentado como aberto (spark.authenticate=false).
| Superfície | Motivo |
|---|---|
RPC 7077 com spark.authenticate=true | AuthServerBootstrap ainda era necessário. O caminho de recebimento do CVE-2020-9480 permanece fechado. Não é um novo RCE 9480. |
| JWSFilter quando definido | spark.master.rest.filters=org.apache.spark.ui.JWSFilter mais secretKey. Testes retornam 403 sem JWT. Opt-in. Padrão Nil. |
UI doAs | ainda requer admin. REST não herda os filtros da UI. |
| Shell da UI do CVE-2022-33891 | resíduo de argv do id -Gn fechado neste pin. |
| Submissão YARN / Kubernetes | este servidor REST é apenas do Master standalone. |
Submissão de job com spark.authenticate=false padrão | FAQ: por design. Não é este resíduo. |
| REST do Mesos | removido no Spark 4.0. |
Padrão do CLI spark-submit | ainda usa RPC 7077 (useRest tem padrão de string false). --kill / --status em spark:// sempre usam REST. O resíduo é o listener do servidor. |
A correção de código do CVE-2018-11770 (SPARK-25088) foi: REST desativado por padrão, e require no Master com falha fechada se spark.authenticate.secret estiver definido enquanto o REST estiver ativo. Neste pin:
Descubra as ferramentas mais usadas pela nossa comunidade.
Sem dados de popularidade ainda.