
Apache Spark 4.2.0 - 高 - リモート - ファイル読み取り - 認証不要のRPC StreamRequestファイル結合
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rpc-stream-unauth
解説記事: https://abraxaslabs.tech/research/spark-rpc-stream-unauth
分類: 権限の取り残し / ファイル読み取り 到達範囲: リモート
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
CVE-2020-9480 は、RPC コントロールプレーン上の未認証の RequestSubmitDriver / RegisterApplication を塞いだ。AbstractAuthRpcHandler は receive() と receiveStream() をゲートする。しかし getStreamManager() はゲートしない。TransportRequestHandler は依然として SASL より前に StreamRequest をそのマネージャへディスパッチする。NettyStreamManager.openStream はルート配下に留まるかどうかのチェックなしで new File(dir, fname) を実行する。
未認証の StreamRequest classes/../../path により Spark-UID のファイルが読める。 Unix の絶対パスの子要素は登録済みディレクトリ配下に留まる(ラボでは 404)。files/ はマップの get である(404)。receive() / receiveStream() は 401 のままである。これは 9480 の RCE ではない。
| ID | CVE 未割当 |
| 分類 | 権限の取り残し / ファイル読み取り(CVE-2020-9480 のゲートされていない RPC データプレーンの取り残し) |
| 到達範囲 | リモート(spark.authenticate=true が設定されたドライバ RpcEnv / ESS / BlockManager への未認証 TCP) |
| CWE | CWE-862, CWE-22 |
| CVSS | High: 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N |
| 製品 | Apache Spark |
| 影響を受けるバージョン | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8)。オペレータが spark.authenticate=true を有効化していること。ホストファイルの読み取りには登録済みディレクトリ(spark.repl.class.outputDir の /classes および/または Connect の artifacts)が必要。 |
| 認証 | StreamRequest / getStreamManager() には不要 |
| ライセンス | GNU Affero GPL v3.0 |
| ラボ | 127.0.0.1 のみ |
spark.authenticate=true と登録済みディレクトリを持つ Spark RPC ポートへの TCP 接続。共有シークレットは不要。spark.network.crypto.enabled も不要。streamId を classes/../../<path> としたトランスポートの StreamRequest(メッセージタイプ 6)を送信する。TransportRequestHandler.processStreamRequest は RpcHandler.receive を決して呼び出さない。代わりに getStreamManager().openStream を呼び出す。9480 のラッパーは実際のマネージャを返す。new File(dir, "../../oracle/secret") は REPL/アーティファクトのルート外に正規化され、FileSegmentManagedBuffer として返される。
これは Spark UID としてのホストファイル読み取りである。ジョブ投入ではない。RequestSubmitDriver ではない。シェルでもない。
| 手法 | シンク | 権限 |
|---|---|---|
未認証 StreamRequest classes/../../<path> | NettyStreamManager.openStream の new File(dir, fname)、続いて FileSegmentManagedBuffer | ドライバが開ける Spark-UID ファイルを読み取る。ラボで実証済み: opened /opt/repl-classes/../../oracle/secret、正規化後 /oracle/secret、ボディ SPARK-RPC-STREAM-UNAUTH-WITNESS、x-auth-gated=false、x-authenticated=false。 |
未認証 StreamRequest classes/hello.txt(ディレクトリ内の対照) | 同じ結合で、登録済みディレクトリ配下に留まる | 実際に /classes 配下にあるファイルを読み取る。ラボで実証済み 200 IN-DIR-OK、ウィットネスなし。含まれた名前であっても SASL なしでファイルサーバが動作することを確認する。 |
| 手法 | シンク | 権限 |
|---|---|---|
稼働中のESS streamId に対する未認証の ChunkFetchRequest / StreamRequest | OneForOneStreamManager.getChunk / openStream。client.getClientId() == null の場合、checkAuthorization はスキップされる | 他アプリの進行中シャッフル / ディスクRDDのバイト列を読み取る。可用性: drain により curChunk が進む。稼働中の streamId が必要(ランダム開始、その後 +1)。ガジェットは稼働中のESSと通信しなかった。 |
未認証の MergedBlockMetaRequest | AbstractAuthRpcHandler.getMergedBlockMetaReqHandler() もゲートなし | ESSがマージドシャッフルを持つ場合、指定した appId のマージドシャッフルチャンクビットマップを読み取る。同じ null-clientId スキップ。未検証。 |
| 手法 | シンク | クローズ維持 |
|---|---|---|
未認証の StreamRequest classes//oracle/secret(Unix絶対パスの子) | new File(dir, "/oracle/secret") | 404。開かれるパスは /opt/repl-classes/oracle/secret。Unixの File は連結する。親を無視しない。絶対パスの子がルートを破棄するというHuntの主張はUnixでは誤り。 |
未認証の StreamRequest files//oracle/secret | files マップの取得 | 404。files/ と jars/ は結合ではなくベース名ルックアップ。 |
未認証の receive() / OneWayMessage | AbstractAuthRpcHandler.receive | 401 Unauthenticated call to receive(). x-auth-gated=true。 |
未認証の receiveStream() / UploadStream | AbstractAuthRpcHandler.receiveStream | 401 Unauthenticated call to receiveStream(). |
ラボのシークレットを用いた認証済み receiveStream() | doAuthChallenge 後の同じゲート | 200 receiveStream-ok。シークレットが依然として9480パスを開くことの対照。 |
ラボ実証済み vs 推測: 未認証の .. ファイル読み取り、Unix絶対パスの404、files/ の404、ゲート付き receive / receiveStream はラボ実証。ESSシャッフルdrainは推測。
隣接するクローズ済み項目(誇張しないこと):
RequestSubmitDriver / RegisterApplication。依然として共有シークレットが必要。spark.authenticate=false による未認証シャッフルとジョブ投入(SECURITY.md FAQ、信頼済みネットワークのデフォルトとして文書化済み)。この残存項目ではない。AppIsolationSuite / SPARK-57889 の非null clientId)。/classes や artifacts を登録しないため、このホストファイルウォークは driver / REPL / Connect であり、master:7077 ではない。spark.authenticate.secret をダンプしない。私は apache/spark v4.2.0(32f7299601108917fb01920a54e084595b7b3bf8)に固定した。masterでも4.3 RCでもない。28回のソースハント。オープンクラスタでのジョブ投入は設計上の仕様。MLモデルのロードは実行可能コード。公開されているJackson History RCE、UIの id -Gn シェル、PySparkローカルなりすまし、9480のreceiveパスは、この剥離ではクローズ済み。
RPC認証のハントは、9480の再ファイル確認のはずだった。AuthServerBootstrap は依然としてハンドラをラップしている。未認証の receive は依然として例外を投げる。そこで私は getStreamManager() を読んだ。3行。デリゲートを返す。TransportRequestHandler.handle は StreamRequest を receive を迂回してルーティングする。デフォルトの StreamManager.checkAuthorization はノーオペレーション。SPARK-57889 は StreamRequest に文字列IDチェックを追加し、ESSが「認証オフ」に使う null-clientId スキップを残した。これは同時に「この接続は一度も認証していない」でもある。
SparkContext は spark.repl.class.outputDir が設定されている場合に /classes を登録する。Connectの ArtifactManager は artifacts を登録する。NettyStreamManager.openStream は ftype/fname を分割する。files/jars 以外のタイプは、正規化プレフィックスチェックなしで new File(dir, fname) を実行する。
回り道、ハントの信頼性を1日浪費したので記録する: JavaDocには絶対パスの子が親を無視するとある。Unixでは UnixFileSystem.resolve は連結する。new File("/opt/repl-classes", "/oracle/secret") は /opt/repl-classes/oracle/secret になる。ラボでは404。Highウォークは classes/../../oracle/secret。
Theatre: これは 9480 RCE だと主張している。コントロールプレーンは依然としてゲートされている。オラクルは、Spark UID がすでに読み取れるファイル内の証人文字列である。
pin ソースのガジェット(AbstractAuthRpcHandler.java:52-87、NettyStreamManager.scala:54-70)。HTTP は TransportRequestHandler の代役である:/stream?id= は StreamRequest;POST /rpc/receive は OneWayMessage;POST /rpc/receive-stream は UploadStream。公式の spark:4.2.0 は不要。ループバックのみ。
python3 spark-rpc-stream-unauth-Abraxas-Labs.py
または:
cd lab
./run.sh
ループバック 127.0.0.1:18910。Compose プロジェクト spark-rpc-stream-unauth。/oracle/secret 内のウィットネス SPARK-RPC-STREAM-UNAUTH-WITNESS。登録済みディレクトリ /opt/repl-classes、hello.txt = IN-DIR-OK。最終行:
SUCCESS SPARK-RPC-STREAM-UNAUTH SPARK-RPC-STREAM-UNAUTH-WITNESS
isAuthenticated になるまで getStreamManager()(および getMergedBlockMetaReqHandler())をゲートするか、拒否するマネージャーを返してください。NettyStreamManager.openStream では、getCanonicalFile の後に登録済みディレクトリを離れる fname を拒否してください。ESS では、spark.authenticate がオンの場合、null の clientId を未認証として扱ってください。SPARK-57889 はすでに StreamRequest に対して checkAuthorization を呼び出しています。スキップはその残りです。