jinxhy/awesome-moai-securityقائمة قراءة منسقة وتصنيف لأبحاث الهجوم والدفاع لأنظمة الذكاء الاصطناعي على الأجهزة المحمولة، تغطي الهجمات العدائية، والخلفية، وسرقة النماذج، وهجمات الطاقة وزمن الاستجابة إلى جانب دفاعات الإبهام، وبيئة التنفيذ الموثوقة (TEE)، والعلامات المائية.
تنفّذ أنظمة الذكاء الاصطناعي على الأجهزة المحمولة النماذج محليًا عبر أطر عمل التعلم الآلي مثل LiteRT/TFLite وCore ML وExecuTorch وONNX، بالإضافة إلى مسرّعات مدعومة بالعتاد. يتتبع هذا المستودع أبحاث الأمن اللازمة لفهم وحماية هذه الأنظمة، حيث يُدخل التخزين المحلي للنماذج على الأجهزة مخاطر أمنية جديدة.
هل أنت جديد في أمن MoAI؟ ابدأ من هنا:
• 
• 
• 
• 
• 
• 
• 
• 
• 
متانة النماذج على الأجهزة: الهجوم العدائي على نماذج التعلم العميق في تطبيقات Android [الكود]
المؤتمر الدولي لهندسة البرمجيات التابع لـ IEEE/ACM: هندسة البرمجيات في الممارسة (ICSE-SEIP 2021)
هجوم التطبيق الذكي: اختراق نماذج التعلم العميق في تطبيقات Android [الكود]
معاملات IEEE في أمن المعلومات والطب الشرعي (TIFS 2022)
فهم التهديدات الواقعية لنماذج التعلم العميق في تطبيقات Android [الكود]
مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2022)
خداع تطبيقاتك: هجمات عدائية بصندوق أسود على تطبيقات التعلم العميق
مجلة البرمجيات: التطور والعملية (JSEP 2024)
نظرة أولى على النماذج على الأجهزة في تطبيقات iOS [الكود]
معاملات ACM في هندسة البرمجيات والمنهجية (TOSEM 2024)
التحقيق في الهجمات ذات الصندوق الأبيض للنماذج على الأجهزة [الكود]
المؤتمر الدولي لهندسة البرمجيات التابع لـ IEEE/ACM (ICSE 2024)
TIM: تمكين الاختبار واسع النطاق بالصندوق الأبيض لنماذج التعلم العميق داخل التطبيقات [الكود]
معاملات IEEE في أمن المعلومات والطب الشرعي (TIFS 2024)
DeepPayload: هجوم الباب الخلفي بصندوق أسود على نماذج التعلم العميق عبر حقن الحمولة العصبية [الكود]
المؤتمر الدولي لهندسة البرمجيات التابع لـ IEEE/ACM (ICSE 2021)
MalModel: إخفاء الحمولة الخبيثة في نماذج التعلم العميق المحمولة مع هجوم الباب الخلفي بصندوق أسود [الكود]
هندسة البرمجيات الآلية (ASEJ 2026)
نظرة أولى على تطبيقات التعلم العميق على الهواتف الذكية [الكود]
مؤتمر الشبكة العنكبوتية العالمية (WWW 2019)
نظرة أولى على النماذج على الأجهزة في تطبيقات iOS [الكود]
معاملات ACM في هندسة البرمجيات والمنهجية (TOSEM 2023)
انتبه لأوزانك: دراسة واسعة النطاق حول الحماية غير الكافية لنماذج التعلم الآلي في تطبيقات الأجهزة المحمولة [الكود]
ندوة USENIX للأمن (USENIX Security 2021)
REDLC: هندسة عكسية موجهة بالتعلم لمترجمات التعلم العميق
الندوة الدولية IEEE حول موثوقية هندسة البرمجيات (ISSRE 2024)
انتبه لأوزانك: دراسة واسعة النطاق حول الحماية غير الكافية لنماذج التعلم الآلي في تطبيقات الأجهزة المحمولة [الكود]
ندوة USENIX للأمن (USENIX Security 2021)
فهم التهديدات الواقعية لنماذج التعلم العميق في تطبيقات Android [الكود]
مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2022)
DeMistify: تحديد ثغرات سرقة وإعادة استخدام نماذج التعلم الآلي على الأجهزة في تطبيقات الأجهزة المحمولة [الكود]
المؤتمر الدولي لهندسة البرمجيات التابع لـ IEEE/ACM (ICSE 2024)
لعبة الأسهم: حول (عدم) أمان إخفاء الأوزان لخوارزميات تقسيم LLM المحمية بـ TEE على الأجهزة [الكود]
ندوة USENIX للأمن (USENIX Security 2025)
هجوم استخراج النموذج ضد التعلم العميق على الأجهزة عبر القناة الجانبية للطاقة
الندوة الدولية IEEE حول التصميم الإلكتروني عالي الجودة (ISQED 2024)
DeepCache: إعادة النظر في هجمات القنوات الجانبية للذاكرة المؤقتة في ملفات الشبكات العصبية العميقة القابلة للتنفيذ
مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2024)
ModelObfuscator: إخفاء معلومات النموذج لحماية الأنظمة القائمة على التعلم الآلي المنشورة [الكود]
الندوة الدولية ACM SIGSOFT حول اختبار وتحليل البرمجيات (ISSTA 2023)
DynaMO: حماية نماذج التعلم العميق المحمولة عبر ربط مشغلات التعلم العميق المُخفاة [الكود]
المؤتمر الدولي IEEE/ACM لهندسة البرمجيات الآلية (ASE 2024)
النموذج الأفضل هو غياب النموذج: توليد تطبيقات كود خالص لاستبدال نماذج التعلم العميق على الأجهزة [الكود]
الندوة الدولية ACM SIGSOFT حول اختبار وتحليل البرمجيات (ISSTA 2024)
NNSplitter: حل دفاع نشط لنماذج DNN عبر إخفاء الأوزان الآلي [الكود]
المؤتمر الدولي للتعلم الآلي (ICML 2023)
طريقة إخفاء جديدة قائمة على المنطق الأغلبي لمنع الوصول غير المصرح به إلى الشبكات العصبية العميقة الثنائية
التقارير العلمية (Sci. Rep. 2025)
تأمين المحولات على الأجهزة عبر الربط بالعتاد والإخفاء القابل للعكس [الكود]
المؤتمر السنوي لتطبيقات أمن الحاسوب (ACSAC 2025)
MMGuard: حماية نماذج التعلم العميق على الأجهزة تلقائيًا في تطبيقات Android [الكود]
ورش عمل IEEE للأمن والخصوصية (SPW 2021)
تأمين المحولات على الأجهزة عبر الربط بالعتاد والإخفاء القابل للعكس [الكود]
المؤتمر السنوي لتطبيقات أمن الحاسوب (ACSAC 2025)
Offline Model Guard: تعلم آلي آمن وخاص على الأجهزة المحمولة
مؤتمر التصميم والأتمتة والاختبار في أوروبا (DATE 2020)
GuardiaNN: استدلال سريع وآمن على الأجهزة في TrustZone باستخدام SRAM المدمجة والعتاد المشفّر
مؤتمر ACM/IFIP الدولي للوسيط (Middleware 2022)
DNN محمول آمن وفعّال باستخدام بيئات التنفيذ الموثوقة
مؤتمر ACM الآسيوي حول أمن الحاسوب والاتصالات (AsiaCCS 2023)
T-Slices: تنفيذ سري لنماذج التعلم العميق عند الحافة غير الموثوقة باستخدام Arm TrustZone
مؤتمر ACM حول أمن البيانات والتطبيقات والخصوصية (CODASPY 2023)
LEAP: TEE صديق للمطورين قائم على TrustZone لتطبيقات الأجهزة المحمولة الذكية
معاملات IEEE في الحوسبة المحمولة (TMC 2022)
ASGARD: حماية الشبكات العصبية العميقة على الأجهزة باستخدام بيئات التنفيذ الموثوقة القائمة على المحاكاة الافتراضية [الكود]
ندوة أنظمة الشبكات والأمن الموزع (NDSS 2025)
TZ-LLM: حماية نماذج اللغة الكبيرة على الأجهزة باستخدام Arm TrustZone [الكود]
المؤتمر الأوروبي لأنظمة الحاسوب (EuroSys 2026)
FlexServe: نظام تقديم LLM سريع وآمن للأجهزة المحمولة مع عزل مرن للموارد
طبعة أولية من arXiv (arXiv 2026)
DarkneTZ: نحو خصوصية النماذج عند الحافة باستخدام بيئات التنفيذ الموثوقة [الكود]
المؤتمر الدولي السنوي حول أنظمة وتطبيقات وخدمات الأجهزة المحمولة (MobiSys 2020)
HybridTEE: تنفيذ DNN محمول آمن باستخدام بيئة تنفيذ موثوقة هجينة [الكود]
ندوة الأمن والثقة الآسيوية الموجهة للعتاد (AsianHOST 2020)- SecDeep: Secure and Performant On-Device Deep Learning Inference Framework for Mobile and IoT Devices
المؤتمر الدولي لتصميم وتنفيذ إنترنت الأشياء (IoTDI 2021)
ShadowNet: A Secure and Efficient On-Device Model Inference System for Convolutional Neural Networks [Code]
ندوة IEEE للأمن والخصوصية (S&P 2023)
MirrorNet: A TEE-Friendly Framework for Secure On-Device DNN Inference
المؤتمر الدولي المشترك بين IEEE/ACM للتصميم بمساعدة الحاسوب (ICCAD 2023)
TSQP: Safeguarding Real-Time Inference for Quantization Neural Networks on Edge Devices [Code]
ندوة IEEE للأمن والخصوصية (S&P 2025)
TEESlice: Protecting Sensitive Neural Network Models in Trusted Execution Environments When Attackers Have Pre-Trained Models
معاملات ACM في هندسة البرمجيات والمنهجية (TOSEM 2025)
TensorShield: Safeguarding On-Device Inference by Shielding Critical DNN Tensors with TEE [Code]
مؤتمر ACM SIGSAC لأمن الحاسوب والاتصالات (CCS 2025)
GroupCover: A Secure, Efficient and Scalable Inference Framework for On-Device Model Protection Based on TEEs [Code]
المؤتمر الدولي لتعلم الآلة (ICML 2024)
Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
ندوة USENIX للأمن (USENIX Security 2025)
MirageNet: A Secure, Efficient, and Scalable On-Device Model Protection in Heterogeneous TEE and GPU System
طبعة أولية من arXiv (arXiv 2026)
تلخص المشكلات المفتوحة التالية الفجوات البحثية الرئيسية التي حددناها في دراسة المعرفة (SoK) الخاصة بنا. نُبقي الأوصاف هنا على مستوى عالٍ للقراء الذين يستخدمون هذا المستودع. يمكن العثور على مناقشات تقنية أكثر تفصيلاً في الورقة البحثية.
الجدوى العملية للهجوم.
تبقى الهجمات العدائية ضد النماذج على الجهاز صعبة التحقيق بعد النشر لأنها غالباً ما تتطلب التحكم في مدخلات النموذج، أو إدخال تشويشات عدائية، أو إعادة تغليف التطبيق لتعديل كود المعالجة المسبقة. قد تكون هذه الخطوات غير عملية أو قابلة للاكتشاف في عمليات النشر الفعلية للمستخدمين النهائيين.
التعديل الخفي للنموذج.
تحتاج هجمات الباب الخلفي إلى إيجاد نقاط دخول بعد النشر تتجاوز التسميم القياسي في وقت التدريب لأن النماذج على الجهاز عادةً ما تكون للقراءة فقط وللاستدلال فقط. التحدي الرئيسي هو إدخال سلوك خبيث مخفي دون إنتاج تغييرات ملحوظة في مكونات النموذج.
التحديد الدقيق للأوزان.
تكشف هجمات الأوزان العدائية عن خطر تكامل على مستوى المعاملات، لكن النشر العملي يعتمد على تحديد الأوزان الحرجة للسلوك في مساحة البحث الكبيرة للمعاملات. هذا صعب لأن المهاجمين غالباً ما يفتقرون إلى التوجيه التدرجي ويحتاجون إلى الحفاظ على الفائدة المشروعة أثناء تعديل معاملات محددة فقط.
استخراج النموذج الموثوق.
لا يجعل التخزين المحلي للنموذج سرقة النموذج أمراً مباشراً. لا يزال الاستخراج العملي يعتمد على تحديد النموذج الموثوق، وفك التشفير، وإعادة البناء في وجود خوارزميات تشفير مخصصة، وأطر عمل ذكاء اصطناعي غير قياسية، وسلوك تحميل خاص بوقت التشغيل.
عدم تجانس العتاد.
تعتمد هجمات الطاقة-الكمون على كيفية تفاعل أنماط التنشيط المسمومة مع سلوك التنفيذ الخاص بالجهاز. قد تؤدي إلى تضخيم الكمون واستهلاك الطاقة على المسرعات الحساسة للندرة، لكنها تفشل في الانتقال إلى عتاد لا يعتمد على التنفيذ المرتبط بالندرة.
التكافؤ التنفيذي.
لا يزال تشويش النموذج بحاجة إلى الحفاظ على دالة التنبؤ الأصلية أثناء الاستدلال المصرح به. يمكن أن يكشف هذا التكافؤ التنفيذي حالات وقت تشغيل قابلة للاسترداد، أو أوزاناً محولة، أو دلالات المشغلات، أو آثاراً هيكلية تتيح الاسترداد الدلالي أو الهيكلي أو المعياري.
الإنفاذ من جانب العميل.
يربط تفويض النموذج الاستدلال الصحيح ببيانات الاعتماد، وفحوصات التكامل، واسترداد الأوزان المعبأة. ومع ذلك، تحتاج هذه الفحوصات إلى التنفيذ داخل حزمة الهاتف المحمول، مما يجعل الإنفاذ معتمداً على كود جانب العميل الذي يمكن هندسته عكسياً، أو إعادة تغليفه، أو ربطه، أو أدواته بعد النشر.
جدوى نشر TEE.
تتطلب دفاعات TEE دعماً منسقاً عبر تنسيقات النماذج، وأطر عمل الذكاء الاصطناعي، ومكتبات المشغلات، والمندوبين، والمسرعات، وواجهات عزل CPU/GPU/NPU. لا تزال النظم البيئية الحالية للهواتف المحمولة تفتقر إلى حزم استدلال مدعومة بـ TEE معتمدة على نطاق واسع وشفافة للمطورين.
متانة العلامة المائية.
تمكّن العلامة المائية للنموذج من التحقق من الملكية بعد النشر، لكن النماذج المسروقة قد يُعاد نشرها من خلال تحويل الأطر، أو التشفير، أو الوساطة بين المدخلات والمخرجات على مستوى التطبيق. يمكن لهذه التحويلات الحفاظ على الاستدلال المشروع مع تعطيل استجابات المشغلات، أو أنماط الثقة، أو دلالات المخرجات المستخدمة للتحقق.
إلى جانب المشكلات المفتوحة التسع أعلاه، تبرز دراسة المعرفة (SoK) الخاصة بنا ثلاثة اتجاهات ناشئة من المرجح أن يتوسع فيها أمن MoAI بعد ذلك. تنقل هذه الاتجاهات أبحاث أمن MoAI نحو التقييم المنهجي مع توسيع نطاقها ليشمل أسطح الهجوم الناشئة التي أدخلها التدريب على الجهاز وأنظمة MoAI الوكيلية. نلخصها هنا على مستوى عالٍ. توفر الورقة المصاحبة دوافع أكثر تفصيلاً، وأسطح تهديد، وتحديات بحثية.
تقيّم الدراسات الحالية لأمن MoAI الهجمات والدفاعات باستخدام مجموعات بيانات ذاتية التجميع، ومقاييس خاصة بالمنهجية، ونماذج تهديد مختلفة، وعادةً ما تقتصر على منصة واحدة (Android أو iOS). هذا يجعل نتائج التقييم صعبة المقارنة ويتجاهل الاختلافات الخاصة بالمنصة. يجب أن يعمل العمل المستقبلي على إنشاء معايير موحدة توحد مجموعات البيانات، والمقاييس، ونماذج التهديد وتدعم التقييم عبر المنصات لتقييم منهجي وقابل للمقارنة وقابل للتكرار لأمن MoAI.
يركز البحث الحالي في أمن MoAI بشكل أساسي على النماذج المنشورة التي تكون للقراءة فقط وللاستدلال فقط. يغيّر التدريب على الجهاز هذا الافتراض من خلال السماح بتحديث النماذج محلياً، مما يعرض التدرجات، وتحديثات المعاملات، وبيانات المستخدم أثناء عملية التدريب. يفتح هذا أسئلة جديدة حول الضبط الدقيق المحلي، وتكامل التحديثات، وتعرض بيانات التدريب، وتسميم التخصيص، والدفاعات لحالات وقت التدريب على أجهزة المستخدمين النهائيين.
تتطور أنظمة MoAI من الاستدلال المحلي السلبي نحو سير عمل وكيلية تربط النماذج بأجهزة الاستشعار، وبيانات المستخدم الخاصة، وسياقات التطبيقات، وخدمات نظام التشغيل، والواجهات عبر التطبيقات. يحول هذا تركيز الأمن من حماية مكونات النموذج وحدها إلى حوكمة سلاسل السياق-إلى-الإجراء. يجب أن يدرس العمل المستقبلي مصدر السياق المحمول، وفصل نية المستخدم الموثوقة عن المحتوى البيئي غير الموثوق، والأذونات المحددة بالمهمة لاستخدام الأدوات وواجهات برمجة التطبيقات، والتأكيد والتراجع عن الإجراءات الحساسة، وتدقيق خطط الوكيل، والذاكرة، والإجراءات.
| ركيزة أمن MoAI | ما تحميه | هجمات ممثلة | دفاعات ممثلة |
|---|
| سلامة الإدخال الخاضعة للمستخدم | السلامة الشاملة لمدخلات المستخدم، من جمع البيانات على الجهاز المحمول إلى تسليم المدخلات للنموذج | الهجمات العدائية، هجمات الباب الخلفي، هجمات الطاقة والاستجابة | - |
| أمن النموذج المقيم على الجهاز | بنيات النماذج المنشورة وجميع أشكال ما بعد النشر التي تُخزَّن أو تُحمَّل أو تُحوَّل أو تُجسَّد بها النماذج على الأجهزة | الهجمات العدائية، هجمات الباب الخلفي، هجمات الأوزان العدائية، هجمات سرقة النماذج، هجمات الطاقة والاستجابة | إخفاء النموذج، تفويض النموذج، TEE، العلامة المائية للنموذج |
| احتواء البيئة الأصلية للجهاز | حسابات الاستدلال الحساسة وحالات وقت التشغيل عبر نظام تشغيل الجهاز المحمول، ووقت تشغيل الذكاء الاصطناعي، ونظام الذاكرة الفرعي، وبيئات التنفيذ المدعومة بالعتاد | هجمات سرقة النماذج، هجمات الطاقة والاستجابة | إخفاء النموذج، TEE |
