
Apache Spark 4.2.0 - 高 - リモート - 権限の残存 - スタンドアロンRESTがspark.authenticateを無視する
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rest-auth-bypass
解説記事: https://abraxaslabs.tech/research/spark-rest-auth-bypass
分類: 権限の取り残し 到達範囲: リモート
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
スタンドアロン Master REST はデフォルトで有効なポート 6066 で動作し、spark.authenticate を一切参照しません。CVE-2018-11770 は REST をデフォルトで無効にし、REST が有効な状態で RPC シークレットが設定されていればフェイルクローズすることを約束しました。このピンではその両方が覆されています。MASTER_REST_SERVER_ENABLED は createWithDefault(true) です。フィルタは MASTER_REST_SERVER_FILTERS のみで、デフォルトは Nil です。認証されていない POST /v1/submissions/create により、攻撃者の main が Worker の UID で実行されます。Worker は _SPARK_AUTH_SECRET を注入するため、2018 年の「エグゼキュータなしのドライバ」という制限は成立しません。
これは 11770 の取り残しであり、新たな CVE-2020-9480 の RCE ではありません。RPC 7077 は依然として AuthServerBootstrap をインストールします。spark.authenticate=false のクラスタでのジョブ投入は文書化されたデフォルトであり、本脆弱性ではありません。
| ID | CVE 未割当 |
| 分類 | 権限の取り残し (CVE-2018-11770 の取り残し) |
| 到達範囲 | リモート (スタンドアロン Master 6066 への未認証 HTTP) |
| CWE | CWE-306, CWE-287 |
| CVSS | High: 8.8 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:H/A:H |
| 製品 | Apache Spark |
| 影響範囲 | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) スタンドアロン Master REST |
| 認証 | REST にはなし。運用者は spark.authenticate=true を設定。REST はデフォルトのまま。 |
| ライセンス | GNU Affero GPL v3.0 |
| ラボ | 127.0.0.1:18900 のみ。公式 spark:4.2.0 イメージ。 |
タグ v4.2.0 をピン留めし、32f7299601108917fb01920a54e084595b7b3bf8 (2026-07-11, v4.2.0-rc6) を特定しました。master ではありません。4.3 RC でもありません。
6066 のスタンドアロン Master REST に到達します。Authorization ヘッダはありません。spark.authenticate は有効です。spark.master.rest.filters は未設定です。少なくとも 1 つの Worker が稼働しています。
| 手法 | シンク | 権限 |
|---|---|---|
未認証 POST /v1/submissions/create | RequestSubmitDriver (Master.scala:402-420)、続いて Worker の DriverWrapper の classForName(mainClass).main | 整合性 (ラボで実証済み): 攻撃者の mainClass を Worker の UID で実行する。ラボ: driver が RUNNING、witness ファイル。 |
同じ create。Worker の CommandUtils.buildLocalCommand | driver の環境変数 _SPARK_AUTH_SECRET | 整合性 (ラボで実証済み): driver が認証済み RPC クラスタに SASL で参加できる。ラボ: injected=yes。 |
未認証 GET /v1/submissions/status/{id} | RequestDriverStatus (Master.scala:489-503) | 偵察 (作成した id についてラボで実証済み): driver の状態 / worker のホスト。 |
未認証 GET /v1/submissions/readyz | RequestReadyz | 偵察 (ラボで実証済み): Master が STANDBY でないこと。 |
未認証 POST /v1/submissions/kill/{id} | RequestKillDriver (Master.scala:422-453) | 整合性 + 可用性 (推測): 別テナントの standalone driver を停止する。同じ未認証サーブレット配線。未検証。 |
未認証 POST /v1/submissions/killall | RequestKillAllDrivers (Master.scala:455-478) | 可用性 (推測): 待機中/実行中のすべての standalone driver を終了させる。未検証。 |
未認証 POST /v1/submissions/clear | RequestClearCompletedDriversAndApps | 整合性 (推測): 完了した driver/app の記録を削除する。未検証。 |
ラボで実証済み vs 推測: create、secret 注入、自身の id の status、readyz はラボで実証済み。kill / killall / clear は同じ未認証サーブレットマップから推測したもの。
必要条件: standalone Master (YARN/K8s ではない)。運用者が spark.authenticate=true を設定済み。REST はデフォルトのまま (spark.master.rest.enabled が true、spark.master.rest.filters は未設定)。Master の 6066 へのネットワーク経路。少なくとも 1 つの Worker。ドキュメント記載のオープンなクラスタ (spark.authenticate=false) ではないこと。
| サーフェス | 理由 |
|---|---|
spark.authenticate=true での RPC 7077 | AuthServerBootstrap が依然として必要。CVE-2020-9480 の受信経路は閉じたまま。新たな 9480 RCE ではない。 |
| 設定時の JWSFilter | spark.master.rest.filters=org.apache.spark.ui.JWSFilter と secretKey。JWT なしでは 403 をテスト済み。オプトイン。デフォルトは Nil。 |
UI の doAs | 依然として admin が必要。REST は UI のフィルタを継承しない。 |
| CVE-2022-33891 UI シェル | id -Gn の argv 残留はこのピンでは閉じている。 |
| YARN / Kubernetes の submit | この REST サーバは standalone Master 専用。 |
デフォルト spark.authenticate=false でのジョブ submit | FAQ: 設計によるもの。この残留ではない。 |
| Mesos REST | Spark 4.0 で削除済み。 |
CLI spark-submit のデフォルト | 依然として RPC 7077 を使用 (useRest の文字列デフォルトは false)。spark:// に対する --kill / --status は常に REST を使用。残留はサーバ側リスナ。 |
CVE-2018-11770 のコード修正 (SPARK-25088) は次のとおりだった: REST をデフォルトで オフ にし、REST がオンの状態で spark.authenticate.secret が設定されている場合は Master を fail-closed にする require を追加する。このピンでは:
package.scala:2045-2048。ドキュメント:「Spark 4.1 以降、Spark Master デーモンはデフォルトで REST API を提供します。」Master.scala に存在しない。テスト SPARK-57451: Allows REST server and spark.authenticate.secret to be enabled together(MasterSuite.scala:253-261)は、起動が成功しなければならないことを検証している。NETWORK_AUTH_ENABLED / AUTH_SECRET を一切読み取らない。addFilters は spark.master.rest.filters(デフォルト Nil)のみを適用する。CVE-2018-17190 / FAQ(「spark.authenticate を有効化する」)に従った運用者であっても、6066 番ポートでの認証なし HTTP ジョブ送信は依然として可能である。
誤った道: オープンなクラスタ上での認証なしジョブ送信を CVE として扱うこと。これが RPC 7077 上の 9480 を再び開くものだと主張すること。JWSFilter のデフォルトオフを、spark.authenticate が REST にマッピングされないことの代わりに残存問題として扱うこと。4.3 RC に固定すること。
茶番: リバースシェル。オラクルは witness 文字列と injected=yes である。
python3 spark-rest-auth-bypass-Abraxas-Labs.py
または
cd lab
./run.sh
ループバック 127.0.0.1:18900 をコンテナ 6066 に公開。Compose プロジェクト spark-rest-auth-bypass。公式 spark:4.2.0 イメージ。Master と Worker の両方で spark.authenticate=true と spark.authenticate.secret を設定。REST フィルターは未設定。ウィットネス SPARK-REST-AUTH-BYPASS-WITNESS。最終行: