Apache Spark 4.2.0 - عالي - عن بُعد - كتابة ملف - Connect archives hash-fragment dest
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-connect-archive-fragment
المقال التقني: https://abraxaslabs.tech/research/spark-connect-archive-fragment
الفئة: كتابة ملفات الوصول: عن بُعد
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
تُقسَّم أسماء AddArtifacts في Spark Connect من الشكل archives/<file>#<fragment> عند محرف الهاش / علامة الرقم. تمرّ بايتات zip عبر concatenatePaths. أما الجزء اللاحق (fragment) فلا يمرّ. بعد ذلك يقوم SparkContext.addFile(..., isArchive=true) بتنفيذ new File(root, uri.getFragment)، ثم deleteRecursively(dest)، ثم unpack على الـ driver. وتبني الـ executors الوجهة نفسها. وثّق SPARK-33530 الصيغة #name كاسم دليل تحت SparkFiles. والجزء اللاحق من الشكل ../<outside> هو الوجهة.
يقوم Connect archives/<file>#../<path> بفك الضغط وتنفيذ deleteRecursively خارج دليل SparkFiles الخاص بالجلسة بصلاحيات Spark UID.
| المعرّف | لا يوجد CVE بعد |
| الفئة | كتابة ملفات |
| الوصول | عن بُعد (عميل Spark Connect؛ AddArtifacts مع archive=True) |
| CWE | CWE-22 |
| CVSS | عالٍ: 8.1 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:N/I:H/A:H |
| المنتج | Apache Spark |
| المتأثر | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) وجهة الجزء اللاحق بعد الهاش في archives/ في Connect |
| المصادقة | عميل Connect. لا يملك Connect الافتراضي PSK (spark.connect.authenticate.token غير مضبوط). PR:L في حال وجود PSK / قائمة تحكم شبكية؛ PR:N على Connect الافتراضي المفتوح. |
| الترخيص | GNU Affero GPL v3.0 |
| المختبر | 127.0.0.1 فقط |
ثبّتُّ الوسم v4.2.0 وpeel 32f72996 (2026-07-11، v4.2.0-rc6). المختبر عبارة عن gadget بلغة Java يحاكي تقسيم الهاش في StagedArtifact المثبّت، وArtifactUtils.concatenatePaths، وnew File(root, fragment)، وdeleteRecursively، وفك ضغط zip المحصور في الوجهة. HTTP عبر loopback على 127.0.0.1:18930. إن PySpark الرسمي ينسخ بالفعل جزء URI اللاحق إلى اسم الأرشيف.
هذا ليس RCE. تُرفض أعضاء zip التي تخرج من الوجهة (فئة Hadoop FileUtil.unZip / HADOOP-13649). ما يتبقى هو الوجهة نفسها.
| الطريقة | المصب | الصلاحية |
|---|---|---|
Connect AddArtifacts name archives/<file>#../<outside> | SparkContext.addFile dest new File(root, uri.getFragment) ثم Utils.unpack (SparkContext.scala:1891-1900) | السلامة (مُثبتة مختبريًا): كتابة أعضاء الأرشيف بمعرّف Spark UID خارج SparkFiles الخاصة بالجلسة. وجهة المختبر الأساسية /lab/oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS، uid 1000، dest-outside=yes. |
| نفس الوجهة، قبل فك الحزمة | Utils.deleteRecursively(dest) (SparkContext.scala:1899) | التوافر (مُثبت مختبريًا): اختفى عنصر canary في الوجهة. المختبر deleteRecursively=yes؛ لم ينجُ canary.txt تحت الوجهة. تم الاحتفاظ بـ /lab/oracle/canary-keep.txt الشقيق. |
| نفس البدائية على كل منفّذ يجلب الأرشيف | Executor dest new File(root, sourceURI.getFragment) ثم deleteRecursively + unpack (Executor.scala:1468-1477) | السلامة / التوافر (مُستنتج): نفس بناء الوجهة على المنفّذين. المختبر هو الأداة على جانب السائق. |
اسم الأداة files/../../... أو archives/../../... | ArtifactUtils.concatenatePaths (ArtifactUtils.scala:26-39) | مغلق (مُثبت مختبريًا): INVALID_ARTIFACT_PATH. |
جزء مطلق على Unix /abs | new File(root, "/abs") | مغلق على Unix (مُثبت مختبريًا): لا يتم تجاهل الأصل؛ تنضم الوجهة تحت الجذر. وجهة المختبر /lab/root/lab/oracle/abs-...، outside=false، تم الاحتفاظ بـ abs canary. |
إضافة jars/ / classes/ للجلسة نفسها | الجلسة URLClassLoader | مغلق كبقايا: تحميل JAR للجلسة نفسها مقصود بالتصميم. ليس هذا الاكتشاف. |
| تحميل jar عبر الجلسات | عزل Connect spark.sql.artifact.isolation.enabled=true | مغلق: الجلسات المعزولة تقرأ addedJars(sessionUUID). |
مُثبت مختبريًا مقابل مُستنتج: وجهة جزء التجزئة خارج SparkFiles، حذف canary الوجهة، الاحتفاظ بـ canary الشقيق، رفض دمج اسم files/ وarchives/، انضمام الجزء المطلق على Unix تحت الجذر، uid 1000، فك حزمة zip محتواة في الوجهة: مختبر. جلب المنفّذ لنفس الوجهة: مُستنتج (نفس الباني). الكتابة فوق صنف يُحمَّل لاحقًا على مسار أصناف السائق: سلسلة مُستنتجة، غير مُبرهنة، غير مُضخَّمة إلى RCE.
يتطلب: عميل Connect يمكنه AddArtifacts مع archive=True. PySpark الرسمي spark.addArtifact(..., archive=True) يضع بالفعل جزء URI غير فارغ في الاسم (python/pyspark/sql/connect/client/artifact.py:223-236). Connect الافتراضي لا يحتوي على PSK.
| السطح | المختبر |
|---|---|
اسم الأداة .. / مطلق عبر concatenatePaths | files-concat=rejected INVALID_ARTIFACT_PATH |
اسم archives/ مع مسار archives/../../... | نفس INVALID_ARTIFACT_PATH |
Unix new File(root, "/abs") | الوجهة تحت الجذر؛ تم الاحتفاظ بـ abs oracle canary |
| zip-slip لعضو zip تحت وجهة محتواة | ترفض الأداة الأعضاء التي تفلت من الوجهة (فئة HADOOP-13649). ليس هذه البقايا. |
دمج مسار files/ (بدون تقسيم التجزئة) | لا يتم أخذ الجزء؛ الاسم لا يزال concatenatePaths |
| عزل jar عبر الجلسات | مفعّل افتراضيًا لـ Connect |
| SQL / Python غير مُصادَق على Connect مفتوح | إرسال مهمة بالتصميم (SECURITY.md FAQ). ليس هذه البقايا. |
| إرسال مهمة / تحميل نموذج ML | بالتصميم |
StagedArtifact يقسّم فقط الأسماء التي تبدأ بـ archives بالإضافة إلى File.separator الخاص بالخادم، وفقط على #:
val splits = name.split("#")
if (splits.length == 2) {
(splits(0), Some(splits(1)))
}
يتم تجهيز splits(0) عبر concatenatePaths. ويُحتفظ بـ splits(1) كـ fragment. ويقوم ArtifactManager بإرفاق ذلك الـ fragment بـ URI الخاص بخادم ملفات الجلسة ويستدعي SparkContext.addArchive. الـ Dest هو new File(root, uri.getFragment). تختبر SPARK-33530 الأمر sc.addArchive(s"${jarFile.getAbsolutePath}#foo") كاسم دليل تحت SparkFiles.
ادّعت المرحلة الأولى من Hunt أن الـ fragment المطلق على Unix يتجاهل root (تجاهل الأب في java.io.File للأبناء المطلقين). على Unix، يقوم new File(root, "/abs") بإزالة الشرطة المائلة البادئة والانضمام تحت root. يتم تجاهل الأب فقط على Windows. مسار High على هذا التثبيت هو #../.
cd lab
./run.sh
Loopback 127.0.0.1:18930. مشروع Compose spark-connect-archive-fragment. الصورة eclipse-temurin:21-jdk-jammy، معرّف المستخدم وقت التشغيل 1000. الشاهد SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS. السطر الأخير:
SUCCESS SPARK-CONNECT-ARCHIVE-FRAGMENT how=gadget dest-outside=yes deleteRecursively=yes files-concat=rejected uid=1000 SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS
CONTROL: archives/payload.zip يُفكّ تحت /lab/root. ATTACK: archives/payload-frag.zip#../oracle/SPARK-CONNECT-ARCHIVE-FRAGMENT-WITNESS dest canonical /lab/oracle/...، تُحذف canary، ويُكتب pwned.txt بمعرّف المستخدم 1000. تنضم الأجزاء المطلقة في Unix تحت الجذر. تُفكَّك الحزمة عند EXIT.