Apache Spark 4.2.0 - उच्च - रिमोट - फ़ाइल लेखन - Connect सत्र SET copyFromLocalToFs.allowDestLocal
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-copy-local
राइट-अप: https://abraxaslabs.tech/research/spark-connect-copy-local
वर्ग: फ़ाइल लेखन (SPARK-58531 का अवशेष; केवल 4.3.0 पर स्थिर) पहुँच: रिमोट
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
spark.sql.artifact.copyFromLocalToFs.allowDestLocal इस पिन पर अभी भी buildConf (सत्र-सेट करने योग्य) है। SPARK-58531 ने इसे 4.3.0 में StaticSQLConf में स्थानांतरित कर दिया। एक Connect सत्र केवल-परीक्षण हेतु स्थानीय-गंतव्य गेट को SET कर सकता है, फिर copyFromLocalToFs / AddArtifacts forward_to_fs/<abs> Spark UID के रूप में ड्राइवर-स्थानीय पथ को अधिलेखित कर देता है।
Connect सत्र SET करता है फिर forward_to_fs ड्राइवर-स्थानीय फ़ाइलें लिखता है। गंतव्य LocalFileSystem होना चाहिए। RCE नहीं।
| ID | अभी तक कोई CVE नहीं (SPARK-58531 का अवशेष) |
| वर्ग | फ़ाइल लेखन (SPARK-58531 का अवशेष; केवल 4.3.0 पर स्थिर) |
| पहुँच | रिमोट (Spark Connect Config + AddArtifacts) |
| CWE | CWE-22, CWE-732 |
| CVSS | उच्च: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| उत्पाद | Apache Spark (ASF) |
| प्रभावित | Apache Spark 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8)। 4.3.0 स्थिर है। |
| प्रमाणीकरण | Connect क्लाइंट जो ConfigRequest.SET और AddArtifacts कर सकता है। डिफ़ॉल्ट Connect में कोई PSK नहीं। |
| लाइसेंस | GNU Affero GPL v3.0 |
| लैब | केवल 127.0.0.1:18920 |
एक Spark Connect क्लाइंट जो gRPC तक पहुँच सकता है (डिफ़ॉल्ट बाइंड पोर्ट 15002, कोई PSK नहीं जब तक ऑपरेटर ने spark.connect.authenticate.token सेट न किया हो) ड्राइवर को केवल-परीक्षण हेतु गेट बंद कर सकता है जिसके साथ ड्राइवर शुरू किया गया था, फिर Spark UID के रूप में ड्राइवर पर एक चुने हुए स्थानीय पथ को अधिलेखित कर सकता है।
| विधि | सिंक | विशेषाधिकार |
|---|---|---|
gRPC Config SET spark.sql.artifact.copyFromLocalToFs.allowDestLocal=true (या SQL SET) | SparkConnectConfigHandler.handleSet -> RuntimeConfig.set -> SQLConf.setConfString | अखंडता (सत्र कॉन्फ़िग, लैब-प्रमाणित): प्रति-सत्र स्थानीय-गंतव्य गेट को पलटता है। स्वयं कोई फ़ाइल नहीं लिखता। अन्य सत्रों को नहीं बदलता। लैब: SET HTTP 200, modifiable=True। |
gRPC AddArtifacts नाम forward_to_fs + निरपेक्ष गंतव्य, CRC ठीक | ArtifactManager.uploadArtifactToFs -> LocalFileSystem.copyFromLocalFile(delSrc=false, overwrite=true) | अखंडता (फ़ाइल अधिलेखन, लैब-प्रमाणित): Spark UID के रूप में ड्राइवर-स्थानीय पथ को artifactRootDirectory/<sessionUUID>/ के बाहर लिखना/अधिलेखित करना। लैब: गंतव्य /oracle/SPARK-CONNECT-COPY-LOCAL-WITNESS, uid 185, सामग्री WITNESS। |
| वही AddArtifacts HDFS/S3/ABFS गंतव्य पर | प्रलेखित copyFromLocalToFs | अखंडता (क्लस्टर FS, डिज़ाइन द्वारा): यह अवशेष नहीं। जो गंतव्य LocalFileSystem नहीं है वह कभी परीक्षण फ़्लैग की सलाह नहीं लेता। |
लैब-प्रमाणित बनाम अनुमानित: buildConf कुंजी का सत्र SET, फिर uid 185 के रूप में आर्टिफ़ैक्ट सैंडबॉक्स के बाहर LocalFileSystem गंतव्य लेखन, लैब है। उस पथ का Spark UID अधिलेखन जिसे प्रक्रिया लिख सकती है (ड्राइवर कार्य निर्देशिका, विश्व-लेखन योग्य ड्रॉप, पहले से निष्पादन योग्य स्क्रिप्ट जिसे ऑपरेटर बाद में चलाता है) अनुमानित है। कोई RIP नियंत्रण नहीं। फ़ाइल लेखन को RCE तक बढ़ा-चढ़ाकर न बताएँ।
आवश्यक: Spark Connect सुन रहा हो। ऐसा क्लाइंट जो सेशन SQL कॉन्फ़ सेट कर सके और AddArtifacts कर सके। गंतव्य Hadoop LocalFileSystem होना चाहिए। डिफ़ॉल्ट Connect में कोई PSK नहीं होता; यदि ऑपरेटर ने टोकन सेट किया है, तो शेष कोड को अभी भी वही साझा Bearer चाहिए। यह लोकल-गंतव्य नियंत्रण का बायपास है, PSK का बायपास नहीं।
| सतह | लैब |
|---|---|
| SET के बिना कॉपी | 400 _LEGACY_ERROR_TEMP_3161, गंतव्य अनुपस्थित |
पुराना स्थिर spark.connect.copyFromLocalToFs.allowDestLocal सेट करना | 400 CANNOT_MODIFY_STATIC_CONFIG |
आर्टिफ़ैक्ट नाम .. / निरपेक्ष स्टेजिंग (ArtifactUtils.concatenatePaths) | INVALID_ARTIFACT_PATH |
गैर-forward_to_fs आर्टिफ़ैक्ट | artifactRootDirectory/<sessionUUID>/ के अंतर्गत रहते हैं |
| फ़्लैग के बिना HDFS/क्लाउड गंतव्य | प्रलेखित API, यह शेष कोड नहीं |
खुले Connect पर अनऑथ SQL / Python UDF / Scala UdfPacket | विक्रेता FAQ जॉब सबमिट; DROP |
| SPARK-52122 ML DefaultParamsReader | इस पिन पर allowlist + safeMLClassLoader |
कोई शेल नहीं। कोई हीप डंप नहीं। कोई Connect PSK स्किप नहीं। गंतव्य अभी भी LocalFileSystem ही होना चाहिए। लेखन Spark UID के रूप में होता है, root के रूप में नहीं।
uploadArtifactToFs LocalFileSystem गंतव्य को अस्वीकार करता है जब तक परीक्षण फ़्लैग चालू न हो, इस स्पष्ट टिप्पणी के साथ कि अन्यथा एक उपयोगकर्ता ड्राइवर पर मनमानी फ़ाइल को अधिलेखित कर देता है:
if (fs.isInstanceOf[LocalFileSystem]) {
val allowDestLocalConf =
session.sessionState.conf.getConf(SQLConf.ARTIFACT_COPY_FROM_LOCAL_TO_FS_ALLOW_DEST_LOCAL)
.getOrElse(
session.conf.get("spark.connect.copyFromLocalToFs.allowDestLocal").contains("true"))
if (!allowDestLocalConf) {
throw new SparkUnsupportedOperationException("_LEGACY_ERROR_TEMP_3161")
}
}
fs.copyFromLocalFile(false, true, new FSPath(localPath.toString), destFSPath)
3.5 कुंजी स्थिर है, डिफ़ॉल्ट false। 4.0 प्रतिस्थापन buildConf वैकल्पिक है:
val ARTIFACT_COPY_FROM_LOCAL_TO_FS_ALLOW_DEST_LOCAL =
buildConf("spark.sql.artifact.copyFromLocalToFs.allowDestLocal")
.internal()
...
.booleanConf
.createOptional
buildConf registerStaticConfigKey को कॉल नहीं करता है। isModifiable containsConfigKey && !isStaticConfigKey है। RuntimeConfig.set केवल static keys को अस्वीकार करता है। Internal अभी भी सेट करने योग्य है। SET के बाद, getConf(ARTIFACT_...) Some(true) लौटाता है और static पुराने conf पर getOrElse fallback छोड़ दिया जाता है।
SPARK-58531 / PR 57730 "Convert spark.sql.artifact.copyFromLocalToFs.allowDestLocal to a static conf" 2026-08-05 को हल किया गया, Fix Version 4.3.0। JIRA: यह conf "नियंत्रित करता है कि कोई कॉलर ड्राइवर के स्थानीय फ़ाइलसिस्टम पर मनमाने पथ पर लिख सकता है या नहीं, इसलिए इसे उसी के द्वारा सेट किया जाना चाहिए जो ड्राइवर शुरू करता है।" 4.2.0 को Affects के रूप में सूचीबद्ध किया गया है। इस pin में अभी भी runtime conf है।
पहले से दर्ज गलत मोड़: Connect SQL को एक निष्कर्ष के रूप में मानना (FAQ); पुराने static key का SET (CANNOT_MODIFY_STATIC_CONFIG); यह दावा करना कि Unix absolute dest parent को अनदेखा करता है (यह root के अंतर्गत जुड़ता है); File write को RCE तक बढ़ा-चढ़ाकर बताना; 4.3.0 RC को pin करना क्योंकि JIRA हल हो गया है।
cd lab
./run.sh