
Apache Spark 4.2.0 — высокий уровень — удалённо — остаточные привилегии — standalone REST игнорирует spark.authenticate
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rest-auth-bypass
Разбор: https://abraxaslabs.tech/research/spark-rest-auth-bypass
Класс: Остаточная привилегия Доступ: Удалённый
Apache Spark 4.2.0 (32f72996) — Apache Software Foundation
Standalone Master REST включён по умолчанию на порту 6066 и никогда не читает spark.authenticate. CVE-2018-11770 обещал отключение REST по умолчанию и отказ при ошибке (fail-closed), если RPC-секрет задан, а REST включён. Эта версия отменила оба обещания. MASTER_REST_SERVER_ENABLED имеет значение createWithDefault(true). Фильтры задаются только через MASTER_REST_SERVER_FILTERS, по умолчанию Nil. Неаутентифицированный POST /v1/submissions/create запускает main атакующего от имени UID Worker. Worker внедряет _SPARK_AUTH_SECRET, поэтому ограничение 2018 года «драйвер без исполнителей» не действует.
Это остаток от 11770, а не новый RCE CVE-2020-9480. RPC 7077 по-прежнему устанавливает AuthServerBootstrap. Отправка заданий в кластер с spark.authenticate=false — это документированное поведение по умолчанию, и это не данная уязвимость.
| ID | CVE пока нет |
| Класс | Остаточная привилегия (остаток от CVE-2018-11770) |
| Доступ | Удалённый (неаутентифицированный HTTP к standalone Master 6066) |
| CWE | CWE-306, CWE-287 |
| CVSS | Высокий: 8.8 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:H/A:H |
| Продукт | Apache Spark |
| Затронуто | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) standalone Master REST |
| Аутентификация | отсутствует на REST. Оператор задал spark.authenticate=true. REST оставлен по умолчанию. |
| Лицензия | GNU Affero GPL v3.0 |
| Лаборатория | только 127.0.0.1:18900. Официальный образ spark:4.2.0. |
Я зафиксировал тег v4.2.0, peel 32f7299601108917fb01920a54e084595b7b3bf8 (2026-07-11, v4.2.0-rc6). Не master. Не 4.3 RC.
Доступ к standalone Master REST на 6066. Без заголовка Authorization. spark.authenticate включён. spark.master.rest.filters не задан. Как минимум один Worker активен.
| Метод | Точка входа (sink) | Привилегия |
|---|---|---|
Неаутентифицированный POST /v1/submissions/create | RequestSubmitDriver (Master.scala:402-420), затем Worker DriverWrapper classForName(mainClass).main | Целостность (доказано в лаборатории): запуск mainClass атакующего от имени UID Worker. Лаборатория: драйвер в состоянии RUNNING, файл-свидетель. |
Тот же create; Worker CommandUtils.buildLocalCommand | переменная окружения драйвера _SPARK_AUTH_SECRET | Целостность (доказано в лаборатории): драйвер может подключиться по SASL к аутентифицированному RPC-кластеру. Лаборатория: injected=yes. |
Неаутентифицированный GET /v1/submissions/status/{id} | RequestDriverStatus (Master.scala:489-503) | Разведка (доказано в лаборатории для созданного id): состояние драйвера / хост Worker. |
Неаутентифицированный GET /v1/submissions/readyz | RequestReadyz | Разведка (доказано в лаборатории): Master не в состоянии STANDBY. |
Неаутентифицированный POST /v1/submissions/kill/{id} | RequestKillDriver (Master.scala:422-453) | Целостность + доступность (предположительно): остановка standalone-драйвера другого арендатора. Та же неаутентифицированная конфигурация сервлета; не проверялось на практике. |
Неаутентифицированный POST /v1/submissions/killall | RequestKillAllDrivers (Master.scala:455-478) | Доступность (предположительно): завершение всех ожидающих/работающих standalone-драйверов. Не проверялось на практике. |
Неаутентифицированный POST /v1/submissions/clear | RequestClearCompletedDriversAndApps | Целостность (предположительно): удаление учётных записей завершённых драйверов/приложений. Не проверялось на практике. |
Доказано в лаборатории vs предположительно: create, внедрение секрета, статус собственного id и readyz — проверены в лаборатории. Kill / killall / clear — предположительно, на основе той же неаутентифицированной карты сервлетов.
Требуется: standalone Master (не YARN/K8s). Оператор установил spark.authenticate=true. REST оставлен по умолчанию (spark.master.rest.enabled true, spark.master.rest.filters не задан). Сетевой доступ к Master 6066. Как минимум один Worker. Не документированный открытый кластер (spark.authenticate=false).
| Поверхность | Причина |
|---|---|
RPC 7077 с spark.authenticate=true | По-прежнему требуется AuthServerBootstrap. Путь приёма CVE-2020-9480 остаётся закрытым. Это не новый RCE 9480. |
| JWSFilter, если задан | spark.master.rest.filters=org.apache.spark.ui.JWSFilter плюс secretKey. Тесты возвращают 403 без JWT. Включается опционально. По умолчанию Nil. |
UI doAs | по-прежнему требует прав администратора. REST не наследует фильтры UI. |
| UI shell CVE-2022-33891 | остаток argv id -Gn закрыт на этой ревизии. |
| Отправка через YARN / Kubernetes | этот REST-сервер относится только к standalone Master. |
Отправка заданий при spark.authenticate=false по умолчанию | FAQ: так задумано. Это не данный остаток. |
| Mesos REST | удалён в Spark 4.0. |
CLI spark-submit по умолчанию | по-прежнему использует RPC 7077 (useRest по умолчанию false как строка). --kill / --status на spark:// всегда используют REST. Остаток — это серверный слушатель. |
Исправление кода CVE-2018-11770 (SPARK-25088) заключалось в следующем: REST по умолчанию выключен, и require Master завершается с ошибкой (fail-closed), если задан spark.authenticate.secret при включённом REST. На этой ревизии: