Apache Spark 4.2.0 - عالي - عن بُعد - قراءة ملف - RPC StreamRequest File join بدون مصادقة
abraxaslabs.tech · github.com/abraxas · @abraxas_null · [email protected] · spark-rpc-stream-unauth
المقال التقني: https://abraxaslabs.tech/research/spark-rpc-stream-unauth
الفئة: صلاحية متبقية / قراءة ملفات النطاق: عن بُعد
Apache Spark 4.2.0 (32f72996) - Apache Software Foundation
أغلقت CVE-2020-9480 الثغرة غير الموثّقة في RequestSubmitDriver / RegisterApplication على مستوى لوحة تحكم RPC. يتحكّم AbstractAuthRpcHandler في receive() وreceiveStream(). لكنه لا يتحكّم في getStreamManager(). لا يزال TransportRequestHandler يوجّه StreamRequest إلى ذلك المدير قبل SASL. يقوم NettyStreamManager.openStream بتنفيذ new File(dir, fname) دون أي تحقّق من البقاء داخل الجذر.
StreamRequest غير الموثّق عبر classes/../../path يقرأ ملفات Spark-UID. تبقى المسارات الفرعية المطلقة على Unix داخل الدليل المسجّل (المختبر 404). files/ هي عملية get على خريطة (404). يبقى receive() / receiveStream() عند 401. هذا ليس استغلال RCE الخاص بـ 9480.
| المعرّف | لا يوجد CVE بعد |
| الفئة | صلاحية متبقية / قراءة ملفات (بقايا غير محكومة في مستوى بيانات RPC من CVE-2020-9480) |
| النطاق | عن بُعد (TCP غير موثّق إلى RpcEnv الخاص بالسائق / ESS / BlockManager مع spark.authenticate=true) |
| CWE | CWE-862، CWE-22 |
| CVSS | عالٍ: 7.5 CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:N/A:N |
| المنتج | Apache Spark |
| المتأثر | 4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8). spark.authenticate=true مُفعّل من قِبل المشغّل. قراءة ملفات المضيف تتطلّب دليلاً مسجّلاً (spark.repl.class.outputDir /classes و/أو artifacts الخاص بـ Connect). |
| المصادقة | لا شيء على StreamRequest / getStreamManager() |
| الترخيص | GNU Affero GPL v3.0 |
| المختبر | 127.0.0.1 فقط |
TCP إلى منفذ Spark RPC الذي لديه spark.authenticate=true ودليل مسجّل. لا سرّ مشترك. لا spark.network.crypto.enabled. أرسل StreamRequest على مستوى النقل (نوع الرسالة 6) مع streamId بقيمة classes/../../<path>. لا يستدعي TransportRequestHandler.processStreamRequest أبداً RpcHandler.receive. بل يستدعي getStreamManager().openStream. يُرجع غلاف 9480 المدير الحقيقي. يُطبّع new File(dir, "../../oracle/secret") المسار خارج جذر REPL/artifact ويعود كـ FileSegmentManagedBuffer.
هذه قراءة لملف على المضيف بصلاحية Spark UID. ليست إرسال مهمة. ليست RequestSubmitDriver. ليست صدفة.
| الطريقة | نقطة الوصول | الصلاحية |
|---|---|---|
StreamRequest غير موثّق عبر classes/../../<path> | NettyStreamManager.openStream ينفّذ new File(dir, fname) ثم FileSegmentManagedBuffer | قراءة ملفات Spark-UID التي يمكن للسائق فتحها. مُثبت في المختبر: opened /opt/repl-classes/../../oracle/secret، المسار المطبّع /oracle/secret، المحتوى SPARK-RPC-STREAM-UNAUTH-WITNESS، x-auth-gated=false، x-authenticated=false. |
StreamRequest غير موثّق عبر classes/hello.txt (تحكّم داخل الدليل) | نفس الدمج، يبقى داخل الدليل المسجّل | قراءة ملف موجود فعلاً تحت /classes. مُثبت في المختبر 200 IN-DIR-OK، دون شاهد. يؤكّد أن خادم الملفات يعمل دون SASL حتى لاسم محتوى. |
| الطريقة | نقطة الوصول (Sink) | الصلاحية |
|---|---|---|
ChunkFetchRequest / StreamRequest غير مُصادَق عليهما لـ streamId حيّ في ESS | OneForOneStreamManager.getChunk / openStream. يتخطى checkAuthorization عندما يكون client.getClientId() == null | قراءة بايتات shuffle / disk-RDD قيد التنفيذ لتطبيق آخر. الإتاحة: يُقدّم الاستنزاف curChunk. يتطلب streamId حيًّا (بداية عشوائية، ثم +1). لم يتحدث الـ gadget مع ESS حيّ. |
MergedBlockMetaRequest غير مُصادَق عليه | AbstractAuthRpcHandler.getMergedBlockMetaReqHandler() أيضًا غير مُقيَّد | قراءة خرائط بتات chunk الخاصة بـ merged-shuffle لـ appId مختار عندما يكون لدى ESS merged shuffle. نفس تخطي clientId الفارغ. لم يُختبر. |
| الطريقة | نقطة الوصول (Sink) | يبقى مُغلقًا |
|---|---|---|
StreamRequest غير مُصادَق عليه classes//oracle/secret (ابن مطلق على Unix) | new File(dir, "/oracle/secret") | 404. المسار المفتوح هو /opt/repl-classes/oracle/secret. يَدمج File على Unix؛ ولا يتجاهل الأب. ادعاء Hunt بأن ابنًا مطلقًا يُسقط الجذر خاطئ على Unix. |
StreamRequest غير مُصادَق عليه files//oracle/secret | الحصول على خريطة files | 404. files/ وjars/ عمليات بحث عن basename، وليست دمجًا. |
receive() / OneWayMessage غير مُصادَق عليه | AbstractAuthRpcHandler.receive | 401 Unauthenticated call to receive(). x-auth-gated=true. |
receiveStream() / UploadStream غير مُصادَق عليه | AbstractAuthRpcHandler.receiveStream | 401 Unauthenticated call to receiveStream(). |
receiveStream() مُصادَق عليه بالسر المختبري | نفس البوابة بعد doAuthChallenge | 200 receiveStream-ok. تحكّم بأن السر لا يزال يفتح مسار 9480. |
مُثبت مختبريًا مقابل مُستنتَج: قراءة ملف .. غير مُصادَق عليها، و404 المطلق على Unix، و404 لـ files/، وreceive / receiveStream المُقيَّدان هي مختبريًا. استنزاف ESS shuffle مُستنتَج.
مُغلق مجاور (لا تُضخّمه):
RequestSubmitDriver / RegisterApplication غير مُصادَق عليهما عبر OneWayMessage / UploadStream / RpcRequest. لا يزال يحتاج السر المشترك.spark.authenticate=false الافتراضي: shuffle غير مُصادَق عليه وإرسال مهمة (SECURITY.md FAQ، الافتراضي الموثّق للشبكة الموثوقة). ليس هذه البقايا.AppIsolationSuite / SPARK-57889 clientId غير فارغ)./classes أو artifacts مُسجَّلة، لذا فإن هذا التجوال في ملفات المضيف يخص driver / REPL / Connect، وليس master:7077.spark.authenticate.secret.ثبّتُّ apache/spark v4.2.0 (32f7299601108917fb01920a54e084595b7b3bf8)، وليس master ولا 4.3 RC. ثمانية وعشرون بحثًا في المصدر. إرسال المهام على عنقود مفتوح مقصود بالتصميم. تحميل نموذج ML هو كود قابل للتنفيذ. Jackson History RCE العام، وshell id -Gn في الواجهة، وانتحال الهوية المحلي في PySpark، ومسار receive الخاص بـ 9480 كلها مُغلقة في هذه المراجعة.
كان بحث مصادقة RPC يُفترض أن يكون فحص إعادة تقديم لـ 9480. لا يزال AuthServerBootstrap يلفّ المعالج. لا يزال receive غير المُصادَق عليه يرمي استثناءً. ثم قرأت getStreamManager(). ثلاثة أسطر. يُعيد المفوَّض (delegate). يُوجّه TransportRequestHandler.handle طلب StreamRequest حول receive. StreamManager.checkAuthorization الافتراضي عملية لا تفعل شيئًا. أضاف SPARK-57889 فحصًا لمعرّف نصي على StreamRequest وأبقى على تخطي clientId الفارغ الذي تستخدمه ESS بمعنى "المصادقة مُعطّلة"، وهو أيضًا بمعنى "هذا الاتصال لم يُصادَق عليه قط".