Apache Spark 4.2.0 - عالي - عن بُعد - بقايا صلاحيات - proxy-user defaultExtraClassPath
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-proxyuser-classpath
المقال: https://abraxaslabs.tech/research/spark-proxyuser-classpath
الفئة: امتياز متبقٍّ (متبقٍّ من CVE-2023-22946 / SPARK-41958) الوصول: عن بُعد
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
لا يزال CVE-2023-22946 / SPARK-41958 يضبط spark.submit.proxyUser.allowCustomClasspathInClusterMode على false افتراضيًا، ولا يزال يشغّل childClasspath.clear() عند الإرسال العنقودي بـ --proxy-user. هذا هو مسار YARN العام --jars. ثم أضاف Spark 4.0 المفتاح spark.driver.defaultExtraClassPath. يضع المشغّل هذا المفتاح دائمًا في مقدمة -cp الخاص بـ JVM في spark-submit، بما في ذلك الوضع العنقودي. لا يرى SPARK-41958 ذلك أبدًا.
لا يزال بإمكان مستأجر بنمط Livy تحميل jar مُجهَّز داخل JVM الخاص بـ spark-submit على البوابة. لا يغيّر UserGroupInformation.doAs في Hadoop ذلك الـ Unix UID.
| المعرّف | لا يوجد CVE بعد |
| الفئة | امتياز متبقٍّ (متبقٍّ من CVE-2023-22946 / SPARK-41958) |
| الوصول | عن بُعد (إرسال مهمة بنمط Livy عبر --proxy-user عبر البوابة) |
| CWE | CWE-269، CWE-427 |
| CVSS | مرتفع: 8.8 CVSS:3.1/AV:N/AC:L/PR:L/UI:N/S:U/C:H/I:H/A:H |
| المنتج | Apache Spark |
| المتأثر | Apache Spark 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) |
| المصادقة | مستأجر مُصادَق عليه على بوابة بنمط Livy / Kyuubi / Oozie تمرّر --conf و--jars المُجهَّزة إلى spark-submit --proxy-user ... --deploy-mode cluster |
| الترخيص | GNU Affero GPL v3.0 |
| المختبر | 127.0.0.1:18950 فقط. ملف الشاهد. أداة من المشغّل / مسارات الإرسال المذكورة. |
امتلاك حساب مستأجر على بوابة Spark متعددة المستأجرين (Livy، Kyuubi، Oozie، وما شابهها) تشغّل spark-submit --proxy-user <tenant> --deploy-mode cluster بمعرّف مستخدم فائق (superuser UID). جهّز jar يمكن لـ JVM الخاص بالبوابة فتحه. أرسل --conf spark.driver.defaultExtraClassPath=<staged jar>. يمكن أن تبقى بوابة SPARK-41958 على false. لا يزال spark-submit -cp المُنشأ يبدأ بذلك الـ jar. تُحمَّل الفئات الموجودة فيه بمعرّف Unix UID الخاص بالبوابة.
--conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true هو مسار ثانٍ: .internal() للتوثيق فقط، ولا يزال --conf يكتب المفتاح، وعندها يحتفظ YARN العنقودي بـ --jars على childClasspath. يبقى CVE-2023-22946 العام هو مسار YARN الافتراضي --jars الذي يغطيه clear() بالفعل. هذا المتبقّي هو defaultExtraClassPath غير المُقيَّد.
لا يزال انتحال هوية Hadoop بعد إرسال نظيف هو المستخدم الوكيل لـ YARN AM / مشغّل k8s. هذا المتبقّي هو JVM الخاص بالبوابة فقط.
| الطريقة | نقطة الوصول | الاستطلاع | السلامة | التوافر | المصدر |
|---|---|---|---|---|---|
إرسال بنمط Livy --proxy-user + عنقود yarn/k8s/standalone + --conf spark.driver.defaultExtraClassPath=<staged local jar>، مع إبقاء راية SPARK-41958 على false | SparkSubmitCommandBuilder.buildSparkSubmitCommand SparkSubmitCommandBuilder.java:317-327 أول مدخل في -cp | سرد/قراءة الملفات التي يمكن لمستخدم UID الخاص بالبوابة قراءتها (مجلد keytab، spark-defaults، التجهيز المحلي). هوية Hadoop لاستدعاءات RPC اللاحقة لا تزال مستخدم البروكسي. | تحميل أصناف المستأجر داخل عملية spark-submit JVM. يبقى UID في Unix هو البوابة (مستخدم Hadoop البروكسي الفائق). المختبر: defaultExtraClassPath-on-cp=yes childClasspath-cleared=yes lab.WitnessMain كتب SPARK-PROXYUSER-CLASSPATH-WITNESS. مستنتج من صنف CVE العام: تراكب موارد Configuration في Hadoop / البحث عن تنفيذ FileSystem بذلك UID. | انهيار عملية Submit JVM إذا رمى التراكب استثناءً. ليس الصنف. | تحميل مُثبت مختبرياً + كتابة الشاهد كما هو مبني في -cp. تراكب Hadoop مستنتج. تمرير --conf في Livy/Kyuubi مستنتج (تلك الشجرات ليست هذا التثبيت). |
نفس الإرسال مع --conf spark.submit.proxyUser.allowCustomClasspathInClusterMode=true بالإضافة إلى --jars / المورد الأساسي | SparkSubmit.prepareSubmitEnvironment SparkSubmit.scala:333-336,738-743,917-924 ثم runMain :980-987 | نفس الاستطلاع كما في المسار A، على URLClassLoader الفرعي بدلاً من محمّل النظام. | إبقاء --jars على childClasspath حتى يعمل addJarToClasspath. المختبر: conf-flag-keeps-jars=yes. | نفس الشيء. | إبقاء childClasspath مُثبت مختبرياً. ليس إعادة إيداع لمسار --jars العام في YARN الذي يغطيه clear() عندما تبقى الراية على false. |
مُثبت مختبرياً مقابل مستنتج: يحتوي -cp المبني على defaultExtraClassPath في وضع العنقود؛ لا يزال childClasspath.clear() يعمل على الراية الافتراضية؛ يُحذف spark.driver.extraClassPath في وضع العنقود؛ تُمسح --jars مع الراية على false؛ صنف شاهد على ذلك -cp يكتب الـ oracle. تنفيذ صنف إعداد Hadoop هو آلية CVE-2023-22946 العامة، ولم يُعَد تشغيله هنا. تمرير Livy/Kyuubi لـ --conf هو البنية التي توثقها تلك المشاريع.
| الطريقة | نقطة الوصول | يبقى مغلقاً |
|---|---|---|
--driver-class-path / spark.driver.extraClassPath في وضع العنقود | SparkSubmitCommandBuilder.java:318-319 | لا يُضاف إلى -cp الخاص بـ spark-submit. المختبر: extraClassPath-omitted=yes. يذهب إلى سائق العنقود، الذي يبدأه YARN/K8s كمستخدم البروكسي. |
العنقود الافتراضي + --proxy-user + --jars دون قلب الراية ودون defaultExtraClassPath | SparkSubmit.scala:917-918 childClasspath.clear() | يُفرَّغ child classpath لعنقود YARN/standalone/k8s. المختبر: childClasspath-cleared=yes على مسار التحكم. تبقى CVE-2023-22946 العامة هي هذا المسار. |
سائق --proxy-user في وضع العميل على البوابة | قسم Proxy User في docs/security.md | موثق: عملية سائق وضع العميل JVM هي المستخدم الفائق. تقول الجهة المصنعة إنه ليس CVE. يُطلب من Livy/Kyuubi فرض وضع العنقود. |
حاوية سائق وضع العنقود في K8s (spark.kubernetes.submitInDriver=true) التي تضيف . إلى classpath | SparkSubmit.scala:420-431 SPARK-43540 | spark-submit ثانٍ داخل pod السائق، وليس مضيف Livy. UID الـ pod هو مستخدم الحاوية. |
spark.driver.extraJavaOptions في وضع العنقود | SparkSubmitCommandBuilder.java:341-357 | لا يُطبَّق على spark-submit JVM. SPARK_SUBMIT_OPTS هو بيئة البوابة، وليس --conf الخاص بالمستأجر. |
| YARN AM / سائق k8s للتطبيق المُرسَل | انتحال هوية Hadoop بعد إرسال نظيف | لا يزال مستخدم البروكسي لإطلاق العنقود. هذه البقايا هي عملية البوابة JVM فقط. |
| إرسال مهمة غير مصادق عليها / Connect SQL / تحميل نموذج ML | الأسئلة الشائعة في SECURITY.md / docs/ml-security.md | بحسب التصميم. ليس هذه البقايا. |