Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
spark-rpc-stream-unauth — Apache Spark 4.2.0 - 高 - リモート - ファイル読み取り - 認証不要のRPC StreamRequestファイル結合 | Kitploit
ツール/GitHubGitHub/abraxas/spark-rpc-stream-unauth
脆弱性分析エクスプロイトウェブアプリケーション悪用情報収集ネットワークセキュリティペネトレーションテスト論文と研究ラボと実践
GitHubabraxas/spark-rpc-stream-unauth

spark-rpc-stream-unauth

Apache Spark 4.2.0 - 高 - リモート - ファイル読み取り - 認証不要のRPC StreamRequestファイル結合

リポジトリを見る
2420日前未レビュー
共有

Abraxas Labs - spark-rpc-stream-unauth

abraxaslabs.tech  ·  github.com/abraxas  ·  @abraxas_null  ·  [email protected]  ·  spark-rpc-stream-unauth

解説記事: https://abraxaslabs.tech/research/spark-rpc-stream-unauth

spark-rpc-stream-unauth

分類: 権限の取り残し / ファイル読み取り 到達範囲: リモート

Apache Spark 4.2.0 (32f72996) - Apache Software Foundation

CVE-2020-9480 は、RPC コントロールプレーン上の未認証の RequestSubmitDriver / RegisterApplication を塞いだ。AbstractAuthRpcHandler は receive() と receiveStream() をゲートする。しかし getStreamManager() はゲートしない。TransportRequestHandler は依然として SASL より前に StreamRequest をそのマネージャへディスパッチする。NettyStreamManager.openStream はルート配下に留まるかどうかのチェックなしで new File(dir, fname) を実行する。

未認証の StreamRequest classes/../../path により Spark-UID のファイルが読める。 Unix の絶対パスの子要素は登録済みディレクトリ配下に留まる(ラボでは 404)。files/ はマップの get である(404)。receive() / receiveStream() は 401 のままである。これは 9480 の RCE ではない。

IDCVE 未割当
分類権限の取り残し / ファイル読み取り(CVE-2020-9480 のゲートされていない RPC データプレーンの取り残し)
到達範囲リモート(spark.authenticate=true が設定されたドライバ RpcEnv / ESS / BlockManager への未認証 TCP)
CWECWE-862, CWE-22
CVSSHigh: 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N
製品Apache Spark
影響を受けるバージョン4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8)。オペレータが spark.authenticate=true を有効化していること。ホストファイルの読み取りには登録済みディレクトリ(spark.repl.class.outputDir の /classes および/または Connect の artifacts)が必要。
認証StreamRequest / getStreamManager() には不要
ライセンスGNU Affero GPL v3.0
ラボ127.0.0.1 のみ

攻撃者ができること

spark.authenticate=true と登録済みディレクトリを持つ Spark RPC ポートへの TCP 接続。共有シークレットは不要。spark.network.crypto.enabled も不要。streamId を classes/../../<path> としたトランスポートの StreamRequest(メッセージタイプ 6)を送信する。TransportRequestHandler.processStreamRequest は RpcHandler.receive を決して呼び出さない。代わりに getStreamManager().openStream を呼び出す。9480 のラッパーは実際のマネージャを返す。new File(dir, "../../oracle/secret") は REPL/アーティファクトのルート外に正規化され、FileSegmentManagedBuffer として返される。

これは Spark UID としてのホストファイル読み取りである。ジョブ投入ではない。RequestSubmitDriver ではない。シェルでもない。

機密性(ラボで実証済み)

手法シンク権限
未認証 StreamRequest classes/../../<path>NettyStreamManager.openStream の new File(dir, fname)、続いて FileSegmentManagedBufferドライバが開ける Spark-UID ファイルを読み取る。ラボで実証済み: opened /opt/repl-classes/../../oracle/secret、正規化後 /oracle/secret、ボディ SPARK-RPC-STREAM-UNAUTH-WITNESS、x-auth-gated=false、x-authenticated=false。
未認証 StreamRequest classes/hello.txt(ディレクトリ内の対照)同じ結合で、登録済みディレクトリ配下に留まる実際に /classes 配下にあるファイルを読み取る。ラボで実証済み 200 IN-DIR-OK、ウィットネスなし。含まれた名前であっても SASL なしでファイルサーバが動作することを確認する。

機密性(推定)

手法シンク権限
稼働中のESS streamId に対する未認証の ChunkFetchRequest / StreamRequestOneForOneStreamManager.getChunk / openStream。client.getClientId() == null の場合、checkAuthorization はスキップされる他アプリの進行中シャッフル / ディスクRDDのバイト列を読み取る。可用性: drain により curChunk が進む。稼働中の streamId が必要(ランダム開始、その後 +1)。ガジェットは稼働中のESSと通信しなかった。
未認証の MergedBlockMetaRequestAbstractAuthRpcHandler.getMergedBlockMetaReqHandler() もゲートなしESSがマージドシャッフルを持つ場合、指定した appId のマージドシャッフルチャンクビットマップを読み取る。同じ null-clientId スキップ。未検証。

この残存項目についてクローズ済み(ラボ実証済み)

手法シンククローズ維持
未認証の StreamRequest classes//oracle/secret(Unix絶対パスの子)new File(dir, "/oracle/secret")404。開かれるパスは /opt/repl-classes/oracle/secret。Unixの File は連結する。親を無視しない。絶対パスの子がルートを破棄するというHuntの主張はUnixでは誤り。
未認証の StreamRequest files//oracle/secretfiles マップの取得404。files/ と jars/ は結合ではなくベース名ルックアップ。
未認証の receive() / OneWayMessageAbstractAuthRpcHandler.receive401 Unauthenticated call to receive(). x-auth-gated=true。
未認証の receiveStream() / UploadStreamAbstractAuthRpcHandler.receiveStream401 Unauthenticated call to receiveStream().
ラボのシークレットを用いた認証済み receiveStream()doAuthChallenge 後の同じゲート200 receiveStream-ok。シークレットが依然として9480パスを開くことの対照。

ラボ実証済み vs 推測: 未認証の .. ファイル読み取り、Unix絶対パスの404、files/ の404、ゲート付き receive / receiveStream はラボ実証。ESSシャッフルdrainは推測。

隣接するクローズ済み項目(誇張しないこと):

  • CVE-2020-9480 RCEウォーク: OneWayMessage / UploadStream / RpcRequest 経由の未認証 RequestSubmitDriver / RegisterApplication。依然として共有シークレットが必要。
  • デフォルトの spark.authenticate=false による未認証シャッフルとジョブ投入(SECURITY.md FAQ、信頼済みネットワークのデフォルトとして文書化済み)。この残存項目ではない。
  • 認証済みアプリAがアプリBを取得する(AppIsolationSuite / SPARK-57889 の非null clientId)。
  • CVE-2021-38296 ハンドシェイク鍵回復。
  • CVE-2025-55039 Moderate CTRデフォルト。
  • スタンドアロン master RpcEnv は通常 /classes や artifacts を登録しないため、このホストファイルウォークは driver / REPL / Connect であり、master:7077 ではない。
  • ファイルを実行しない。書き込まない。spark.authenticate.secret をダンプしない。

発見の経緯

私は apache/spark v4.2.0(32f7299601108917fb01920a54e084595b7b3bf8)に固定した。masterでも4.3 RCでもない。28回のソースハント。オープンクラスタでのジョブ投入は設計上の仕様。MLモデルのロードは実行可能コード。公開されているJackson History RCE、UIの id -Gn シェル、PySparkローカルなりすまし、9480のreceiveパスは、この剥離ではクローズ済み。

RPC認証のハントは、9480の再ファイル確認のはずだった。AuthServerBootstrap は依然としてハンドラをラップしている。未認証の receive は依然として例外を投げる。そこで私は getStreamManager() を読んだ。3行。デリゲートを返す。TransportRequestHandler.handle は StreamRequest を receive を迂回してルーティングする。デフォルトの StreamManager.checkAuthorization はノーオペレーション。SPARK-57889 は StreamRequest に文字列IDチェックを追加し、ESSが「認証オフ」に使う null-clientId スキップを残した。これは同時に「この接続は一度も認証していない」でもある。

SparkContext は spark.repl.class.outputDir が設定されている場合に /classes を登録する。Connectの ArtifactManager は artifacts を登録する。NettyStreamManager.openStream は ftype/fname を分割する。files/jars 以外のタイプは、正規化プレフィックスチェックなしで new File(dir, fname) を実行する。

回り道、ハントの信頼性を1日浪費したので記録する: JavaDocには絶対パスの子が親を無視するとある。Unixでは UnixFileSystem.resolve は連結する。new File("/opt/repl-classes", "/oracle/secret") は /opt/repl-classes/oracle/secret になる。ラボでは404。Highウォークは classes/../../oracle/secret。

Theatre: これは 9480 RCE だと主張している。コントロールプレーンは依然としてゲートされている。オラクルは、Spark UID がすでに読み取れるファイル内の証人文字列である。

ラボ

pin ソースのガジェット(AbstractAuthRpcHandler.java:52-87、NettyStreamManager.scala:54-70)。HTTP は TransportRequestHandler の代役である:/stream?id= は StreamRequest;POST /rpc/receive は OneWayMessage;POST /rpc/receive-stream は UploadStream。公式の spark:4.2.0 は不要。ループバックのみ。

python3 spark-rpc-stream-unauth-Abraxas-Labs.py

または:

cd lab
./run.sh

ループバック 127.0.0.1:18910。Compose プロジェクト spark-rpc-stream-unauth。/oracle/secret 内のウィットネス SPARK-RPC-STREAM-UNAUTH-WITNESS。登録済みディレクトリ /opt/repl-classes、hello.txt = IN-DIR-OK。最終行:

SUCCESS SPARK-RPC-STREAM-UNAUTH SPARK-RPC-STREAM-UNAUTH-WITNESS

修正

isAuthenticated になるまで getStreamManager()(および getMergedBlockMetaReqHandler())をゲートするか、拒否するマネージャーを返してください。NettyStreamManager.openStream では、getCanonicalFile の後に登録済みディレクトリを離れる fname を拒否してください。ESS では、spark.authenticate がオンの場合、null の clientId を未認証として扱ってください。SPARK-57889 はすでに StreamRequest に対して checkAuthorization を呼び出しています。スキップはその残りです。

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    565
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    478
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    383
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    327
  • 5

    estorides

    grisuno/estorides

    99以上の無料OSINTソースを並列で集約し、エンティティをナレッジグラフに解決し、LLM支援の分析とともにSTIX 2.1、MISP、またはGraphMLでエクスポートします。

    258
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    256

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →