Apache Spark 4.2.0 - 高 - リモート - ファイル書き込み - Connect アーカイブのハッシュフラグメント先
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
解説記事: https://abraxaslabs.tech/research/spark-connect-archive-fragment
クラス: ファイル書き込み 到達範囲: リモート
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
Spark Connect の AddArtifacts では、archives/<file>#<fragment> 形式の名前がハッシュ / 番号記号文字で分割されます。zip のバイト列は concatenatePaths を通過しますが、フラグメントは通過しません。その後 SparkContext.addFile(..., isArchive=true) がドライバ上で new File(root, uri.getFragment)、deleteRecursively(dest)、および unpack を実行します。エグゼキュータも同じ dest を構築します。SPARK-33530 は #name を SparkFiles 配下のディレクトリ名として文書化しました。../<outside> というフラグメントが dest になります。
Connect の archives/<file>#../<path> は、Spark UID としてセッションの SparkFiles ディレクトリ外で展開し、deleteRecursively を実行します。
| ID | CVE 未割当 |
| クラス | ファイル書き込み |
| 到達範囲 | リモート (Spark Connect クライアント; archive=True を指定した AddArtifacts) |
| CWE | CWE-22 |
| CVSS | High: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| 製品 | Apache Spark |
| 影響を受けるバージョン | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) Connect archives/ のハッシュフラグメント dest |
| 認証 | Connect クライアント。デフォルトの Connect には PSK がありません (spark.connect.authenticate.token 未設定)。PSK / ネットワーク ACL がある場合は PR:L、デフォルトのオープンな Connect では PR:N。 |
| ライセンス | GNU Affero GPL v3.0 |
| ラボ | 127.0.0.1 のみ |
タグ v4.2.0 のピール 32f72996 (2026-07-11, v4.2.0-rc6) を固定しました。ラボは、固定された StagedArtifact のハッシュ分割、ArtifactUtils.concatenatePaths、new File(root, fragment)、deleteRecursively、および dest 内に限定された zip 展開を再現した Java ガジェットです。127.0.0.1:18930 上のループバック HTTP を使用します。公式の PySpark はすでに URI フラグメントをアーカイブ名にコピーしています。
これは RCE ではありません。dest の外へ抜け出す zip メンバーは拒否されます (Hadoop FileUtil.unZip / HADOOP-13649 クラス)。残るのは dest そのものです。
| 手法 | シンク | 権限 |
|---|---|---|
AddArtifacts の名前 archives/<file>#../<outside> を接続 | SparkContext.addFile の dest new File(root, uri.getFragment) の後に Utils.unpack (SparkContext.scala:1891-1900) | 整合性 (ラボ実証済み): セッションの SparkFiles 外に、Spark UID としてアーカイブメンバーを書き込む。ラボの dest 正規パス /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS、uid 1000、dest-outside=yes。 |
| 同じ dest、unpack の前 | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | 可用性 (ラボ実証済み): dest のカナリアが消えた。ラボ deleteRecursively=yes; dest 配下の canary.txt は残らなかった。兄弟の /lab/oracle/canary-keep.txt は保持された。 |
| アーカイブをフェッチする各エグゼキュータ上の同じプリミティブ | Executor の dest new File(root, sourceURI.getFragment) の後に deleteRecursively + unpack (Executor.scala:1468-1477) | 整合性 / 可用性 (推測): エグゼキュータ上でも同じ dest 構築。ラボはドライバ側のガジェット。 |
アーティファクトの名前 files/../../... または archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | クローズ済み (ラボ実証済み): INVALID_ARTIFACT_PATH。 |
Unix 絶対フラグメント /abs | new File(root, "/abs") | Unix ではクローズ済み (ラボ実証済み): 親は無視されず、dest は root 配下に結合される。ラボの dest /lab/root/lab/oracle/abs-...、outside=false、abs カナリアは保持。 |
自セッションの jars/ / classes/ 追加 | セッションの URLClassLoader | 残存物としてクローズ済み: 自セッションの JAR ロードは設計通り。本知見ではない。 |
| クロスセッションの jar ロード | Connect 分離 spark.sql.artifact.isolation.enabled=true | クローズ済み: 分離されたセッションは addedJars(sessionUUID) を読む。 |
ラボ実証済み vs 推測: SparkFiles 外へのハッシュフラグメント dest、dest カナリアの削除、兄弟カナリアの保持、files/ と archives/ の名前連結の拒否、Unix 絶対フラグメントの root 配下への結合、uid 1000、dest 内に収まる zip 展開: ラボ。同じ dest のエグゼキュータによるフェッチ: 推測 (同じコンストラクタ)。ドライバのクラスパス上で後からロードされるクラスの上書き: 推測の連鎖であり、実証されておらず、RCE に誇張されていない。
必要条件: archive=True で AddArtifacts を実行できる Connect クライアント。公式 PySpark の spark.addArtifact(..., archive=True) は既に空でない URI フラグメントを名前に含める (python/pyspark/sql/connect/client/artifact.py:223-236)。デフォルトの Connect には PSK がない。
| 攻撃面 | ラボ |
|---|---|
concatenatePaths を経由したアーティファクト名 .. / 絶対パス | files-concat=rejected INVALID_ARTIFACT_PATH |
archives/ の名前による走査 archives/../../... | 同じ INVALID_ARTIFACT_PATH |
Unix の new File(root, "/abs") | dest は root 配下; abs オラクルのカナリアは保持 |
| 内包された dest 配下での zip メンバーの zip-slip | ガジェットは dest から脱出するメンバーを拒否する (HADOOP-13649 クラス)。本残存物ではない。 |
files/ のパス連結 (ハッシュ分割なし) | フラグメントは取得されない; 名前は依然として concatenatePaths |
| クロスセッションの jar 分離 | Connect ではデフォルトで有効 |
| オープンな Connect 上での未認証 SQL / Python | 設計通りのジョブ投入 (SECURITY.md FAQ)。本残存物ではない。 |
| ジョブ投入 / ML モデルのロード | 設計通り |
StagedArtifact は、archives とサーバの File.separator で始まる名前のみを分割し、かつ # でのみ分割する:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) は concatenatePaths を介してステージングされます。splits(1) は fragment として保持されます。ArtifactManager はそのフラグメントをセッションの file-server URI に付加し、SparkContext.addArchive を呼び出します。Dest は new File(root, uri.getFragment) です。SPARK-33530 は sc.addArchive(s"${jarFile.getAbsolutePath}#foo") を SparkFiles 配下のディレクトリ名としてテストします。
Hunt の最初のパスでは、Unix の絶対パスフラグメントが root を無視する(java.io.File は絶対パスの子に対して親を無視する)と主張していました。Unix では、new File(root, "/abs") は先頭のスラッシュを除去し、root 配下に結合します。親が無視されるのは Windows のみです。このピンにおける High のウォークは #../ です。
cd lab
./run.sh
ループバック 127.0.0.1:18930。Compose プロジェクト spark-connect-archive-fragment。イメージ eclipse-temurin:21-jdk-jammy、ランタイム uid 1000。ウィットネス SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS。最終行:
SUCCESS SPARK-CONNECT-ARCHIVE-FRAGMENT how=gadget dest-outside=yes deleteRecursively=yes files-concat=rejected uid=1000 SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS
CONTROL: archives/payload.zip は /lab/root 配下に展開される。ATTACK: archives/payload-frag.zip#../oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS の dest 正規化先は /lab/oracle/... となり、canary が削除され、pwned.txt が uid 1000 として書き込まれる。Unix の絶対パスフラグメントは root 配下に結合される。スタックは EXIT 時に破棄される。
アーカイブフラグメントを、アーティファクト名と同じ root 配下に留まるチェック(concatenatePaths、または .. / 絶対パスの拒否)に通す。SPARK-33530 の #name は SparkFiles 配下の単一ディレクトリコンポーネントとして維持する。そのチェックに失敗した dest に対して deleteRecursively を実行しない。Executor も同じコンストラクタを使用するため、両方を修正する。
それまでの間、Spark UID のファイルシステムを既に信頼している相手以外には Spark Connect を公開しないこと。spark.connect.authenticate.token の PSK は、トークン保持者までに敷居を上げるだけである。フラグメントをサニタイズするものではない。