Deserializer

حول المشروع

• Deserializer هو محرك تحليل ثابت متقدم لشجرة التركيب المجردة (AST) مصمم لتحديد عمليات إعادة بناء الكائنات غير الآمنة ومصارف استمرارية الحالة عبر منظومة Python، مع تركيز قوي على مجالات الذكاء الاصطناعي، ونماذج اللغة الكبيرة (LLM)، والروبوتات، وعلوم البيانات، وتعلم الآلة، والتعلم العميق؛ ولكن ليس على سبيل الحصر.
• صُمم Deserializer لفحص وتحليل أي نوع من المشاريع القائمة على شيفرة مصدر Python، مثل التطبيقات، والسكربتات، والأطر، والمكتبات، وحزم pip الخاصة بـ Python، وغير ذلك الكثير.

القدرات التقنية الرئيسية

أبعد بكثير من كونه ماسحًا ضوئيًا تقليديًا، فهو يوفر إطارًا عامًا عالي الأداء لتدقيق أكثر من 120 مكتبة وتنسيقًا—بما في ذلك YAML وMsgpack وCBOR وخطافات JSON المخصصة—حيث تُخفي الثقة التقليدية في التسلسل "الآمن" نواقل RCE الحرجة القائمة على المنطق. من خلال تحليل الاستيرادات والأسماء المستعارة والسمات النقطية المعقدة، يعمل الأداة كمضخم إشارة عالي الدقة يُعطي الأولوية لمسارات الشيفرة الخطرة في البنى الموزعة الحديثة ومستودعات الذكاء الاصطناعي/تعلم الآلة.

يعمل المشروع من خلال سير عمل معياري متعدد المراحل ينتقل من الكشف الخام إلى التدقيق التقني العميق. بعد الفحص الأولي عالي السرعة (SAST)، تستفيد المنظومة من مخططات العلاقات المتخصصة لتتبع تدفقات التنفيذ ومعالجات النتائج لإنشاء تقارير أمنية مفصلة. يضمن هذا النهج المنهجي أن كل اكتشاف يتم وضعه في سياق البنية الأوسع للتطبيق، مما يحوّل القياسات عن بُعد عالية الحجم إلى أصول بحثية قابلة للتنفيذ ومعالم منظمة تُبسّط رسم أسطح الهجوم على مستوى البنية التحتية.

وكيل الأمن الذكي المستقل

في مستواه الأكثر تقدمًا، يدمج Deserializer وكيل أمن ذكي مستقل (المرحلة 4)، مصمم بشكل صريح للتعامل مع قيود "حقن الأوامر الذاتي" وتوليف أدلة إعادة إنتاج وظيفية، استنادًا إلى واجهة استدلال HuggingFace، أو LLM محلي (مثل llama.cpp)، أو واجهة OpenAI API المتوافقة.

مع تطور المشروع، يواصل تحديد حدود أبحاث الثغرات الآلية من خلال سد الفجوة بين التحليل الثابت لشجرة التركيب المجردة، ورسم العلاقات، وإعداد التقارير، وتطوير الاستغلال الوظيفي بناءً على الأبحاث الموثقة.

البحث (الذكاء الاصطناعي، الروبوتات، علوم البيانات، تعلم الآلة والتعلم العميق)

يدعم Deserializer أبحاث الأمن مباشرةً من خلال تحديد مسارات RCE وإلغاء التسلسل غير الآمن عبر مشاريع وبيئات ذكاء اصطناعي وروبوتات وعلوم بيانات واسعة النطاق، مثل Genesis World (v0.2.1)، وMuJoCo (v3.7.0)، وLeRobot (v0.5.1)، وBrax (v0.14.2)، وTensorFlow (v2.21.0)، وLangGraph (v1.1.6)، وVibeVoice (v0.0.1)، وHugging Face Hub (v1.11.0)، وPyGlove (v0.4.5)، وغيرها الكثير.

وقد مكّنت قدراته مباشرةً من اكتشاف ثغرات حرجة في أطر رائدة في المجال، مما أثبت فعاليته في تدقيق بيئات MLOps المعقدة وبيئات الذكاء الاصطناعي الوكيلية.

المراحل الأربع لـ Deserializer

المشروع مُنظَّم في أربع مراحل متميزة، صُممت كل منها لنقل التحليل من القياسات الآلية عالية الحجم إلى البحث الأمني الوظيفي العميق:

المرحلة	العنوان	الأدوات / المحرك	الهدف
1	الكشف عالي السرعة	deserializer.py (Triple-Pass)	إجراء SAST واسع النطاق لتحديد مصارف إلغاء التسلسل المحتملة.
2	رسم العلاقات	معالجات النتائج / المخططات	وضع الاكتشافات في سياقها من خلال تتبع تدفقات التنفيذ والترابط بين المكونات.
3	التركيب التقني	توثيق البحث	إضفاء الطابع الرسمي على الاكتشافات في تقارير تقنية، ورسم أسطح الهجوم على مستوى البنية التحتية.
4	وكيل الذكاء الاصطناعي المستقل	وكيل الأمن الذكي	أتمتة اكتشاف ثغرات اليوم صفر وإنشاء أدلة/استغلالات إعادة إنتاج وظيفية باستخدام واجهة استدلال HuggingFace، أو LLM محلي (مثل llama.cpp)، أو واجهة OpenAI API المتوافقة.

بنية المشروع

خريطة عالية المستوى لتنظيم المستودع والغرض التقني لكل دليل متخصص:

• agent/
  تنفيذ وكيل الأمن الذكي للمرحلة 4، بما في ذلك منطق التنسيق للتحليل العميق، وتوليف أدلة إعادة الإنتاج، والتفاعل مع LLM.
• docs/
  المستودع المركزي لتوثيق المشروع، والمخططات المعمارية، وأصول العلامة التجارية، والمواد التقنية الداعمة عالية المستوى.
• exploit_development/
  مساحة مخصصة لهندسة الاستغلالات الوظيفية، وبحث بدائيات إلغاء التسلسل (الخطافات/الطرق)، وتوثيق تقنيات التنسيق عبر الأنظمة الأساسية.
• modules/
  مكونات المنطق الأساسية، ودوال الأدوات المساعدة، وامتدادات الماسح الضوئي التي تشغّل مرحلتي الكشف ورسم العلاقات في سلسلة الأدوات.
• reports/
  تخزين مخرجات التحليل الأمني المنظمة، والقياسات عن بُعد، ونتائج التدقيق التي يولّدها الماسح الضوئي أثناء تقييمات المشروع متعددة المراحل.
• research/
  مجموعة من تقارير الثغرات عالية الدقة، وسكربتات إثبات المفهوم (PoC) المُتحقق منها، والتدقيقات العميقة التي أُجريت على أطر الذكاء الاصطناعي/تعلم الآلة الحديثة.
• templates/
  قوالب إعداد التقارير والبحث الموحدة المستخدمة للحفاظ على الاتساق التقني عبر تقارير الثغرات وتقارير الارتباط.

الأداء والمعالجة المتعددة

يتميز هذا الماسح الضوئي بـ محرك تنفيذ متوازٍ عالي الأداء مبني على concurrent.futures.ProcessPoolExecutor في Python. وهو مصمم للتوسع عبر جميع أنوية المعالج المتاحة (قابل للتحكم عبر علامة -j أو --concurrency)، مما يجعله قادرًا على فحص عشرات الآلاف من الملفات في ثوانٍ.

• واجهة غير معيقة: يتميز بشريط تقدم ثابت ومرسوخ مع فجوة سطر واحد لعرض نتائج نظيف.
• معالجة الإشارات الأصلية: على Windows، يستخدم SetConsoleCtrlHandler الأصلي عبر ctypes لضمان استجابة Ctrl+C بنسبة 100%، حتى أثناء المعالجة الثقيلة.
• تتبعات صامتة: يتم إسكات عمليات العمال لضمان عدم تشويش المقاطعات والأخطاء الداخلية على المخرجات التقنية.
• دعم واجهة Windows الأصلية: يُفعّل تلقائيًا معالجة المحطة الطرفية الافتراضية عبر ctypes لدعم ألوان ANSI الأصلية في بيئات CMD وPowerShell الحديثة.

[!WARNING] تحذير الأداء: عند تحليل ملفات كبيرة أو معقدة للغاية (على سبيل المثال، أكثر من 1MB أو 2MB أو 3MB)، قد تواجه الأداة تباطؤًا كبيرًا أو تبدو "عالقة" أثناء تحليل أشجار AST العميقة. إذا واجهت مثل هذه الاختناقات، ففكّر في استخدام علامتي --timeout (لتخطي الملفات البطيئة) و--max-size (لتخطي الملفات الضخمة) للحفاظ على سرعة الفحص.

ما الذي تقوم به

• محرك فحص ثلاثي المرور: ينفذ نهجًا متعدد المستويات "غير قابل للكسر":
  • المرور 1 (AST): تفكيك نحوي عالي الدقة للتحليل الدقيق.
  • المرور 2 (الرجوع إلى الرموز): رجوع آلي إلى مُرمِّز قائم على التدفق عند مواجهة أخطاء نحوية أو أقسام غير قابلة للتحليل.
  • المرور 3 (طوارئ Regex): طبقة مطابقة أنماط نهائية تضمن التغطية في ملفات المصدر شديدة العدائية أو المجزأة.
• تحييد القوالب الأصلية: دعم مدمج لتعقيم وسوم Jinja2 وMako، مما يسمح للماسح الضوئي بمعالجة قوالب الويب وملفات توليد الشيفرة دون الاختناق بالصيغة غير الخاصة بـ Python.
• كشف الاستدعاءات والمراجع: يحدد ليس فقط مصارف التنفيذ المباشرة (مثل pickle.loads()) ولكن أيضًا مراجع الدوال الخطرة (مثل func = pickle.load)، متتبعًا الإسنادات عبر النطاق المحلي.
• يتتبع الاستيرادات/الأسماء المستعارة لحل الاستدعاءات مثل:
  • import pickle as p → p.loads(...)
  • import torch as t → t.load(...)
  • السمات العميقة مثل pkg.pickle.loads(...) أو torch.serialization.load(...)
• يُصدر الاكتشافات بصيغة JSONL، كائن واحد لكل سطر، بما في ذلك:
  • مسار الملف + الموقع (lineno، col_offset)
  • module، name، qualified_name
  • category وseverity (حقول إضافية، متوافقة مع الإصدارات السابقة)
  • parser: بيانات وصفية تشير إلى مرور المحرك الذي أجرى الاكتشاف (ast، tokenize_fallback، أو regex_fallback).
• يحمي من المدخلات الشاذة بواسطة:
  • الحد الأقصى لحجم الملف (MAX_FILE_BYTES)
  • الحد الأقصى لعقد AST التي تمت زيارتها (MAX_AST_NODES)
• اختياري: يحمّل مجموعة قواعد مخصصة من rules.json ويحذر من الإدخالات المشوهة/الأخطاء المطبعية.

التثبيت

يُنصح بحد أدنى من إصدار Python 3.9+ وتم اختبار 3.10+.

python --version
# Python 3.9+ recommended

متطلبات الإعداد:

• البيئة: أنشئ ملف .env في الدليل الجذر حسب مزوّدك:

  # For Hugging Face provider
  HF_TOKEN=your_token_here
  
  # For OpenAI / Local LLM provider
  HA_LLM_TOKEN=your_jwt_token_here