
Apache Spark 4.2.0 - عالي - عن بُعد - بقايا صلاحيات - يتجاهل REST المستقل spark.authenticate
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rest-auth-bypass
المقال: https://abraxaslabs.tech/research/spark-rest-auth-bypass
الفئة: صلاحية متبقية الوصول: عن بُعد
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
واجهة REST الخاصة بـ Standalone Master مفعّلة افتراضيًا على المنفذ 6066 ولا تقرأ spark.authenticate أبدًا. وعد CVE-2018-11770 بإيقاف REST افتراضيًا وبسلوك fail-closed إذا تم تعيين سر RPC بينما كان REST مفعّلًا. هذا التثبيت عكس كلا الأمرين. MASTER_REST_SERVER_ENABLED هي createWithDefault(true). المرشحات هي فقط MASTER_REST_SERVER_FILTERS، والقيمة الافتراضية Nil. طلب POST /v1/submissions/create غير المصادَق عليه يشغّل main الخاص بالمهاجم بصلاحيات Worker UID. يحقن الـ Worker المتغير _SPARK_AUTH_SECRET، لذا فإن قيد "driver بدون executors" لعام 2018 لا يصمد.
هذه بقية من 11770، وليست RCE جديدة من نوع CVE-2020-9480. لا يزال RPC 7077 يثبّت AuthServerBootstrap. إرسال المهام على عنقود مع spark.authenticate=false هو الافتراضي الموثّق وليس هذه الثغرة.
| المعرّف | لا يوجد CVE بعد |
| الفئة | صلاحية متبقية (بقية من CVE-2018-11770) |
| الوصول | عن بُعد (HTTP غير مصادَق عليه إلى Standalone Master 6066) |
| CWE | CWE-306، CWE-287 |
| CVSS | عالٍ: 8.8 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:H/A:H |
| المنتج | Apache Spark |
| المتأثر | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8) standalone Master REST |
| المصادقة | لا شيء على REST. المشغّل عيّن spark.authenticate=true. تُركت REST على الافتراضي. |
| الترخيص | GNU Affero GPL v3.0 |
| المختبر | 127.0.0.1:18900 فقط. صورة spark:4.2.0 الرسمية. |
ثبّتُّ الوسم v4.2.0، وأزلت 32f7299601108917fb01920a54e084595b7b3bf8 (2026-07-11، v4.2.0-rc6). ليس master. وليس 4.3 RC.
الوصول إلى standalone Master REST على 6066. بدون ترويسة Authorization. spark.authenticate مفعّل. spark.master.rest.filters غير معيّن. يوجد Worker واحد على الأقل نشط.
| الطريقة | نقطة الوصول | الصلاحية |
|---|---|---|
POST /v1/submissions/create بدون مصادقة | RequestSubmitDriver (Master.scala:402-420) ثم Worker DriverWrapper classForName(mainClass).main | السلامة (مُثبتة مختبريًا): تشغيل mainClass الخاص بالمهاجم بصلاحيات Worker UID. المختبر: driver بحالة RUNNING، وملف شاهد. |
نفس الإنشاء؛ Worker CommandUtils.buildLocalCommand | متغير بيئة driver _SPARK_AUTH_SECRET | السلامة (مُثبتة مختبريًا): يستطيع driver الانضمام عبر SASL إلى عنقود RPC الموثّق. المختبر: injected=yes. |
GET /v1/submissions/status/{id} بدون مصادقة | RequestDriverStatus (Master.scala:489-503) | استطلاع (مُثبت مختبريًا للمعرّف المُنشأ): حالة driver / مضيف worker. |
GET /v1/submissions/readyz بدون مصادقة | RequestReadyz | استطلاع (مُثبت مختبريًا): Master ليس في حالة STANDBY. |
POST /v1/submissions/kill/{id} بدون مصادقة | RequestKillDriver (Master.scala:422-453) | السلامة + التوافر (مُستنتج): إيقاف driver مستقل لمستأجر آخر. نفس توصيلات servlet غير الموثّقة؛ لم يُختبر. |
POST /v1/submissions/killall بدون مصادقة | RequestKillAllDrivers (Master.scala:455-478) | التوافر (مُستنتج): إنهاء كل driver مستقل في حالة انتظار أو تشغيل. لم يُختبر. |
POST /v1/submissions/clear بدون مصادقة | RequestClearCompletedDriversAndApps | السلامة (مُستنتج): حذف سجلات driver/app المكتملة. لم يُختبر. |
مُثبت مختبريًا مقابل مُستنتج: الإنشاء، وحقن السر، وحالة المعرّف الخاص، وreadyz كلها مختبريًا. أما kill / killall / clear فهي مُستنتجة من نفس خريطة servlet غير الموثّقة.
المتطلبات: Master مستقل (وليس YARN/K8s). قام المشغّل بضبط spark.authenticate=true. تُرك REST على الوضع الافتراضي (spark.master.rest.enabled بقيمة true، وspark.master.rest.filters غير مضبوط). مسار شبكي إلى Master على المنفذ 6066. وجود Worker واحد على الأقل. ليس العنقود المفتوح الموثّق (spark.authenticate=false).
| السطح | السبب |
|---|---|
RPC 7077 مع spark.authenticate=true | لا يزال AuthServerBootstrap مطلوبًا. يبقى مسار الاستقبال في CVE-2020-9480 مغلقًا. ليس RCE جديدًا من نوع 9480. |
| JWSFilter عند ضبطه | spark.master.rest.filters=org.apache.spark.ui.JWSFilter مع secretKey. الاختبارات تُرجع 403 بدون JWT. اختياري. الافتراضي Nil. |
UI doAs | لا يزال يتطلب صلاحيات المسؤول. لا يرث REST مرشّحات UI. |
| قشرة UI في CVE-2022-33891 | بقايا argv الخاصة بـ id -Gn مغلقة في هذا الإصدار المثبّت. |
| الإرسال عبر YARN / Kubernetes | خادم REST هذا مخصص لـ Master المستقل فقط. |
إرسال المهام الافتراضي مع spark.authenticate=false | الأسئلة الشائعة: مقصود بالتصميم. ليس هذه البقايا. |
| Mesos REST | أُزيل في Spark 4.0. |
الافتراضي في CLI spark-submit | لا يزال يستخدم RPC 7077 (useRest قيمته الافتراضية النصية false). أما --kill / --status على spark:// فتستخدم REST دائمًا. البقايا هي مستمع الخادم. |
كان إصلاح الشيفرة في CVE-2018-11770 (SPARK-25088) هو: تعطيل REST افتراضيًا، وجعل require الخاص بـ Master يفشل بأمان عند ضبط spark.authenticate.secret مع تفعيل REST. هذا الإصدار المثبّت: