Apache Spark 4.2.0 - उच्च - रिमोट - फ़ाइल लेखन - Connect archives hash-fragment dest
हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।
अभी तक कोई लोकप्रियता डेटा नहीं है।
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
राइट-अप: https://abraxaslabs.tech/research/spark-connect-archive-fragment
वर्ग: फ़ाइल लेखन पहुँच: रिमोट
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
Spark Connect AddArtifacts के archives/<file>#<fragment> रूप के नाम हैश / संख्या-चिह्न वर्ण पर विभाजित होते हैं। zip बाइट्स concatenatePaths से गुज़रते हैं। फ़्रैगमेंट नहीं गुज़रता। इसके बाद SparkContext.addFile(..., isArchive=true) ड्राइवर पर new File(root, uri.getFragment), deleteRecursively(dest), और unpack करता है। Executors वही dest बनाते हैं। SPARK-33530 ने #name को SparkFiles के अंतर्गत एक डायरेक्टरी नाम के रूप में प्रलेखित किया। ../<outside> का फ़्रैगमेंट ही dest है।
Connect archives/<file>#../<path> सत्र SparkFiles डायरेक्टरी के बाहर Spark UID के रूप में अनपैक और deleteRecursively करता है।
| ID | अभी तक कोई CVE नहीं |
| वर्ग | फ़ाइल लेखन |
| पहुँच | रिमोट (Spark Connect क्लाइंट; archive=True के साथ AddArtifacts) |
| CWE | CWE-22 |
| CVSS | उच्च: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| उत्पाद | Apache Spark |
| प्रभावित | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) Connect archives/ हैश-फ़्रैगमेंट dest |
| प्रमाणीकरण | Connect क्लाइंट। डिफ़ॉल्ट Connect में कोई PSK नहीं (spark.connect.authenticate.token अनसेट)। PSK / नेटवर्क ACL होने पर PR:L; डिफ़ॉल्ट खुले Connect पर PR:N। |
| लाइसेंस | GNU Affero GPL v3.0 |
| लैब | केवल 127.0.0.1 |
मैंने टैग v4.2.0 पील 32f72996 (2026-07-11, v4.2.0-rc6) पिन किया। लैब पिन किए गए StagedArtifact हैश विभाजन, ArtifactUtils.concatenatePaths, new File(root, fragment), deleteRecursively, और dest-निहित zip अनपैक का एक Java गैजेट है। 127.0.0.1:18930 पर लूपबैक HTTP। आधिकारिक PySpark पहले से ही एक URI फ़्रैगमेंट को संग्रह नाम में कॉपी करता है।
यह RCE नहीं है। dest से बाहर निकलने वाले zip सदस्य अस्वीकार किए जाते हैं (Hadoop FileUtil.unZip / HADOOP-13649 वर्ग)। बचा हुआ हिस्सा स्वयं dest है।
| विधि | सिंक | विशेषाधिकार |
|---|---|---|
AddArtifacts नाम archives/<file>#../<outside> कनेक्ट करें | SparkContext.addFile गंतव्य new File(root, uri.getFragment) फिर Utils.unpack (SparkContext.scala:1891-1900) | अखंडता (लैब-प्रमाणित): सत्र SparkFiles के बाहर Spark UID के रूप में संग्रह सदस्यों को लिखें। लैब गंतव्य कैनोनिकल /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS, uid 1000, dest-outside=yes। |
| वही गंतव्य, अनपैक से पहले | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | उपलब्धता (लैब-प्रमाणित): गंतव्य कैनरी चली गई। लैब deleteRecursively=yes; गंतव्य के अंतर्गत canary.txt जीवित नहीं रहा। सहोदर /lab/oracle/canary-keep.txt रखा गया। |
| वही आदिम ऑपरेशन प्रत्येक executor पर जो संग्रह प्राप्त करता है | Executor गंतव्य new File(root, sourceURI.getFragment) फिर deleteRecursively + unpack (Executor.scala:1468-1477) | अखंडता / उपलब्धता (अनुमानित): executors पर वही गंतव्य निर्माण। लैब ड्राइवर-पक्ष गैजेट है। |
आर्टिफैक्ट नाम files/../../... या archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | बंद (लैब-प्रमाणित): INVALID_ARTIFACT_PATH। |
Unix निरपेक्ष फ़्रैगमेंट /abs | new File(root, "/abs") | Unix पर बंद (लैब-प्रमाणित): पैरेंट को अनदेखा नहीं किया जाता; गंतव्य रूट के अंतर्गत जुड़ता है। लैब गंतव्य /lab/root/lab/oracle/abs-..., outside=false, abs कैनरी रखी गई। |
स्व-सत्र jars/ / classes/ जोड़ें | सत्र URLClassLoader | अवशेष के रूप में बंद: स्व-सत्र JAR लोड डिज़ाइन द्वारा है। यह निष्कर्ष नहीं है। |
| क्रॉस-सत्र jar लोड | Connect आइसोलेशन spark.sql.artifact.isolation.enabled=true | बंद: पृथक सत्र addedJars(sessionUUID) पढ़ते हैं। |
लैब-प्रमाणित बनाम अनुमानित: SparkFiles के बाहर हैश-फ़्रैगमेंट गंतव्य, गंतव्य कैनरी हटाई गई, सहोदर कैनरी रखी गई, files/ और archives/ नाम संयोजन अस्वीकृत, Unix निरपेक्ष फ़्रैगमेंट रूट के अंतर्गत जुड़ता है, uid 1000, गंतव्य-निहित zip अनपैक: लैब। वही गंतव्य का executor प्राप्ति: अनुमानित (वही कंस्ट्रक्टर)। ड्राइवर क्लासपाथ पर बाद में लोड की गई क्लास का अधिलेखन: अनुमानित श्रृंखला, प्रदर्शित नहीं, RCE तक बढ़ाया नहीं गया।
आवश्यक: एक Connect क्लाइंट जो archive=True के साथ AddArtifacts कर सके। आधिकारिक PySpark spark.addArtifact(..., archive=True) पहले से ही नाम में एक गैर-रिक्त URI फ़्रैगमेंट डालता है (python/pyspark/sql/connect/client/artifact.py:223-236)। डिफ़ॉल्ट Connect में कोई PSK नहीं है।
| सतह | लैब |
|---|---|
आर्टिफैक्ट नाम .. / concatenatePaths के माध्यम से निरपेक्ष | files-concat=rejected INVALID_ARTIFACT_PATH |
archives/ नाम वॉक archives/../../... | वही INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | रूट के अंतर्गत गंतव्य; abs oracle कैनरी रखी गई |
| निहित गंतव्य के अंतर्गत zip सदस्य zip-slip | गैजेट उन सदस्यों को अस्वीकार करता है जो गंतव्य से बाहर निकलते हैं (HADOOP-13649 वर्ग)। यह अवशेष नहीं है। |
files/ पथ संयोजन (कोई हैश विभाजन नहीं) | फ़्रैगमेंट नहीं लिया जाता; नाम अभी भी concatenatePaths |
| क्रॉस-सत्र jar आइसोलेशन | Connect के लिए डिफ़ॉल्ट रूप से चालू |
| खुले Connect पर अन-ऑथ SQL / Python | डिज़ाइन द्वारा जॉब सबमिट (SECURITY.md FAQ)। यह अवशेष नहीं है। |
| जॉब सबमिट / ML मॉडल लोड | डिज़ाइन द्वारा |
StagedArtifact केवल उन नामों को विभाजित करता है जो archives और सर्वर File.separator से शुरू होते हैं, और केवल # पर:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
splits(0) को concatenatePaths के माध्यम से स्टेज किया जाता है। splits(1) को fragment के रूप में रखा जाता है। ArtifactManager उस fragment को session file-server URI से जोड़ता है और SparkContext.addArchive को कॉल करता है। Dest new File(root, uri.getFragment) है। SPARK-33530 sc.addArchive(s"${jarFile.getAbsolutePath}#foo") को SparkFiles के अंतर्गत एक directory नाम के रूप में परखता है।
Hunt के पहले पास ने दावा किया कि Unix absolute fragment root को अनदेखा करता है (java.io.File का absolute children के लिए parent-ignore)। Unix पर, new File(root, "/abs") अग्रणी slash को हटा देता है और root के अंतर्गत जोड़ देता है। Parent केवल Windows पर अनदेखा किया जाता है। इस pin पर High walk #../ है।
cd lab
./run.sh
Loopback 127.0.0.1:18930. Compose प्रोजेक्ट spark-connect-archive-fragment. इमेज eclipse-temurin:21-jdk-jammy, रनटाइम uid 1000. विटनेस SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS. अंतिम पंक्ति:
SUCCESS SPARK-CONNECT-ARCHIVE-FRAGMENT how=gadget dest-outside=yes deleteRecursively=yes files-concat=rejected uid=1000 SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS