قائمة رائعة لأمان الذكاء الاصطناعي على الأجهزة المحمولة

SoK: مشهد الهجوم والدفاع لأنظمة الذكاء الاصطناعي على الأجهزة المحمولة

Yujin Huang, Xin Zheng, Xingliang Yuan, Kwok-Yan Lam

تقوم أنظمة الذكاء الاصطناعي على الأجهزة المحمولة بتنفيذ نماذج الذكاء الاصطناعي محليًا من خلال أطر التعلم الآلي مثل LiteRT/TFLite وCore ML وExecuTorch وONNX، بالإضافة إلى المسرعات المدعومة بالأجهزة. يتتبع هذا المستودع أبحاث الأمان اللازمة لفهم وحماية مثل هذه الأنظمة، حيث أن التخزين المحلي للنماذج على الجهاز يقدم مخاطر أمنية جديدة.

نظرة عامة على نظام الذكاء الاصطناعي على الأجهزة المحمولة

المحتويات

• خارطة طريق القراءة
• نظرة عامة على التصنيف
• تحليل أمني عبر الأعمدة
• الهجمات على أنظمة MoAI
  • الهجمات المعادية
    • استغلال تشابه النماذج
    • إعادة بناء التدرج
    • التلاعب بالمعالجة المسبقة
  • الهجمات الخلفية
    • حقن الحمولة
    • تقدير النموذج
    • إخفاء المعلومات بالصور
  • هجمات الأوزان المعادية
  • هجمات سرقة النماذج
    • التحليل الثابت
    • التحليل الديناميكي
    • القنوات الجانبية
  • هجمات الطاقة وزمن الوصول
• الدفاعات لأنظمة MoAI
  • إخفاء النموذج
    • الإخفاء على مستوى البرمجيات
    • الإخفاء على مستوى العتاد
  • تفويض النموذج
  • بيئات التنفيذ الموثوقة
    • التنفيذ المتجانس
    • التنفيذ المجزأ
    • الإلغاء المختلط
  • العلامات المائية للنماذج
• المشاكل المفتوحة
• الاتجاهات الناشئة

خارطة طريق القراءة

هل أنت جديد في أمان MoAI؟ ابدأ من هنا:

1. فهم النظام البيئي. اقرأ الدراسات التجريبية حول تطبيقات التعلم العميق والنماذج على الأجهزة في تطبيقات Android/iOS.
2. تعلم المخاطر الأساسية. ادرس أوراق استخراج النموذج وحماية النموذج، لأن الإقامة المحلية للنموذج هي التحول الأمني المركزي في أنظمة MoAI.
3. فهم أسطح الهجوم. ادرس كيف تنشأ هجمات MoAI عبر واجهات الإدخال، وقطع النموذج، والتنفيذ في وقت التشغيل، والبيئات المدعومة بالأجهزة.
4. ربط الدفاعات بالأسطح. افحص كيف تحمي دفاعات MoAI هذه الأسطح عبر مراحل ما قبل النشر، والتنفيذ في وقت التشغيل، وما بعد النشر.
5. انظر إلى الأمام. استكشف تحديات أمان جديدة في التدريب على الأجهزة، والذكاء الاصطناعي التوليدي على الأجهزة، وأنظمة MoAI الوكيلة.

•  نظرة أولى على تطبيقات التعلم العميق على الهواتف الذكية
•  نظرة أولى على النماذج في تطبيقات iOS

•  انتبه لأوزانك: دراسة واسعة النطاق حول الحماية غير الكافية لنماذج التعلم الآلي في التطبيقات المحمولة

•  متانة النماذج على الأجهزة: هجوم عدائي على نماذج التعلم العميق في تطبيقات Android
•  DeepPayload: هجوم خلفي صندوق أسود على نماذج التعلم العميق من خلال حقن الحمولة العصبية
•  Typhon Unleashed: هجمات أوزان عدائية عملية ضد نماذج التعلم العميق على الأجهزة
•  هجمات الطاقة وزمن الوصول على الشبكات العصبية على الأجهزة عبر تسميم الإسفنج

•  ModelObfuscator: إخفاء معلومات النموذج لحماية الأنظمة القائمة على التعلم الآلي المنشورة
•  ShadowNet: نظام استدلال نموذجي آمن وفعال على الأجهزة
•  THEMIS: نحو حماية عملية للملكية الفكرية لنماذج التعلم العميق على الأجهزة بعد النشر

نظرة عامة على التصنيف

تحليل أمني عبر الأعمدة

الهجمات على أنظمة MoAI

استغلال تشابه النماذج

• متانة النماذج على الأجهزة: هجوم عدائي على نماذج التعلم العميق في تطبيقات Android [Code]
  _{IEEE/ACM المؤتمر الدولي لهندسة البرمجيات: هندسة البرمجيات في الممارسة (ICSE-SEIP 2021)}

• Smart App Attack: اختراق نماذج التعلم العميق في تطبيقات Android [Code]
  _{معاملات IEEE حول أمن المعلومات والطب الشرعي (TIFS 2022)}

• فهم التهديدات الواقعية لنماذج التعلم العميق في تطبيقات Android [Code]
  _{مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2022)}

• خداع تطبيقاتك: هجمات عدائية صندوق أسود على تطبيقات التعلم العميق
  _{مجلة البرمجيات: التطور والعملية (JSEP 2024)}

• نظرة أولى على النماذج في تطبيقات iOS [Code]
  _{معاملات ACM حول هندسة البرمجيات والمنهجية (TOSEM 2024)}

إعادة بناء التدرج

• التحقيق في الهجمات الصندوق الأبيض للنماذج على الأجهزة [Code]
  _{IEEE/ACM المؤتمر الدولي لهندسة البرمجيات (ICSE 2024)}

• TIM: تمكين الاختبار الصندوق الأبيض واسع النطاق لنماذج التعلم العميق داخل التطبيقات [Code]
  _{معاملات IEEE حول أمن المعلومات والطب الشرعي (TIFS 2024)}

التلاعب بالمعالجة المسبقة

• ما وراء النموذج: هجوم معالجة البيانات المسبقة على نماذج التعلم العميق في تطبيقات Android [Code]
  _{ورشة عمل أنظمة التعلم العميق الموثوقة والجدارة بالثقة (SecTL 2023)}

حقن الحمولة

• DeepPayload: هجوم خلفي صندوق أسود على نماذج التعلم العميق من خلال حقن الحمولة العصبية [Code]
  _{IEEE/ACM المؤتمر الدولي لهندسة البرمجيات (ICSE 2021)}

• MalModel: إخفاء الحمولة الخبيثة في نماذج التعلم العميق المحمولة بهجوم خلفي صندوق أسود [Code]
  _{هندسة البرمجيات الآلية (ASEJ 2026)}

تقدير النموذج

• الأبواب الخلفية لتقدير النماذج لأطر التعلم العميق التجارية [Code]
  _{معاملات IEEE حول الحوسبة الموثوقة والآمنة (TDSC 2024)}

إخفاء المعلومات بالصور

• هجوم خلفي خفي على النماذج الواقعية في تطبيقات Android
  _{طبعة أولية على arXiv (arXiv 2025)}

• Typhon Unleashed: هجمات أوزان عدائية عملية ضد نماذج التعلم العميق على الأجهزة
  _{معاملات IEEE حول الحوسبة الموثوقة والآمنة (TDSC 2026)}

التحليل الثابت

• نظرة أولى على تطبيقات التعلم العميق على الهواتف الذكية [Code]
  _{مؤتمر الويب العالمي (WWW 2019)}

• نظرة أولى على النماذج في تطبيقات iOS [Code]
  _{معاملات ACM حول هندسة البرمجيات والمنهجية (TOSEM 2023)}

• انتبه لأوزانك: دراسة واسعة النطاق حول الحماية غير الكافية لنماذج التعلم الآلي في التطبيقات المحمولة [Code]
  _{ندوة USENIX للأمن (USENIX Security 2021)}

• REDLC: هندسة عكسية مدفوعة بالتعلم لمجمعات التعلم العميق
  _{الندوة الدولية IEEE حول موثوقية البرمجيات (ISSRE 2024)}

التحليل الديناميكي

• انتبه لأوزانك: دراسة واسعة النطاق حول الحماية غير الكافية لنماذج التعلم الآلي في التطبيقات المحمولة [Code]
  _{ندوة USENIX للأمن (USENIX Security 2021)}

• فهم التهديدات الواقعية لنماذج التعلم العميق في تطبيقات Android [Code]
  _{مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2022)}

• DeMistify: تحديد سرقة نماذج التعلم الآلي على الأجهزة ونقاط ضعف إعادة الاستخدام في التطبيقات المحمولة [Code]
  _{IEEE/ACM المؤتمر الدولي لهندسة البرمجيات (ICSE 2024)}

• لعبة السهام: حول (عدم) أمان إخفاء الأوزان لخوارزميات تقسيم نماذج اللغة الكبيرة على الأجهزة المحمية بـ TEE [Code]
  _{ندوة USENIX للأمن (USENIX Security 2025)}

القنوات الجانبية

• هجوم استخراج النموذج ضد التعلم العميق على الأجهزة باستخدام القناة الجانبية للطاقة
  _{الندوة الدولية IEEE حول التصميم الإلكتروني عالي الجودة (ISQED 2024)}

• DeepCache: إعادة النظر في هجمات القناة الجانبية لذاكرة التخزين المؤقت في ملفات تنفيذية للشبكات العصبية العميقة
  _{مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2024)}

• هجمات الطاقة وزمن الوصول على الشبكات العصبية على الأجهزة عبر تسميم الإسفنج
  _{ورشة عمل أنظمة التعلم العميق الموثوقة والجدارة بالثقة (SecTL 2023)}

الدفاعات لأنظمة MoAI

الإخفاء على مستوى البرمجيات

• ModelObfuscator: إخفاء معلومات النموذج لحماية الأنظمة القائمة على التعلم الآلي المنشورة [Code]
  _{الندوة الدولية ACM SIGSOFT حول اختبار البرمجيات والتحليل (ISSTA 2023)}

• DynaMO: حماية نماذج التعلم العميق المحمولة من خلال إخفاء عمليات التعلم العميق المزدوجة [Code]
  _{IEEE/ACM المؤتمر الدولي لهندسة البرمجيات الآلية (ASE 2024)}

• الوضع بلا نموذج هو أفضل نموذج: توليد تطبيقات كود خالص لاستبدال نماذج التعلم العميق على الأجهزة [Code]
  _{الندوة الدولية ACM SIGSOFT حول اختبار البرمجيات والتحليل (ISSTA 2024)}

الإخفاء على مستوى العتاد

• NNSplitter: حل دفاع نشط لنماذج DNN من خلال إخفاء الأوزان الآلي [Code]
  _{المؤتمر الدولي حول التعلم الآلي (ICML 2023)}

• طريقة إخفاء جديدة تعتمد على المنطق الأكثري لمنع الوصول غير المصرح به إلى الشبكات العصبية العميقة الثنائية
  _{تقارير علمية (Sci. Rep. 2025)}

• تأمين المحول على الأجهزة مع ربط الأجهزة والإخفاء القابل للعكس [Code]
  _{المؤتمر السنوي لتطبيقات أمن الحاسوب (ACSAC 2025)}

• MMGuard: حماية نماذج التعلم العميق على الأجهزة تلقائيًا في تطبيقات Android [Code]
  _{ورش عمل IEEE للأمن والخصوصية (SPW 2021)}

• تأمين المحول على الأجهزة مع ربط الأجهزة والإخفاء القابل للعكس [Code]
  _{المؤتمر السنوي لتطبيقات أمن الحاسوب (ACSAC 2025)}

التنفيذ المتجانس

• Offline Model Guard: تعلم آلي آمن وخاص على الأجهزة المحمولة
  _{مؤتمر التصميم والأتمتة والاختبار في أوروبا (DATE 2020)}

• GuardiaNN: استدلال سريع وآمن على الأجهزة في TrustZone باستخدام SRAM المضمن والعتاد المشفر
  _{مؤتمر ACM/IFIP الوسيط الدولي (Middleware 2022)}

• DNN محمول آمن وفعال باستخدام بيئات التنفيذ الموثوقة
  _{مؤتمر ACM الآسيوي حول أمن الحاسوب والاتصالات (AsiaCCS 2023)}

• T-Slices: تنفيذ سري لاستدلال التعلم العميق على الحافة غير الموثوقة باستخدام Arm TrustZone
  _{مؤتمر ACM حول أمن البيانات وخصوصية التطبيقات (CODASPY 2023)}

• LEAP: TEE سهل الاستخدام للمطورين يعتمد على TrustZone للتطبيقات المحمولة الذكية
  _{معاملات IEEE حول الحوسبة المحمولة (TMC 2022)}

• ASGARD: حماية الشبكات العصبية العميقة على الأجهزة باستخدام بيئات التنفيذ الموثوقة القائمة على الافتراضية [Code]
  _{ندوة أنظمة أمن الشبكات والتوزيع (NDSS 2025)}

• TZ-LLM: حماية نماذج اللغة الكبيرة على الأجهزة باستخدام Arm TrustZone [Code]
  _{المؤتمر الأوروبي حول أنظمة الحاسوب (EuroSys 2026)}

• FlexServe: نظام خدمة LLM سريع وآمن للأجهزة المحمولة مع عزل مرن للموارد
  _{طبعة أولية على arXiv (arXiv 2026)}

التنفيذ المجزأ

• DarkneTZ: نحو خصوصية النموذج على الحافة باستخدام بيئات التنفيذ الموثوقة [Code]
  _{المؤتمر الدولي السنوي حول أنظمة وتطبيقات وخدمات الهواتف المحمولة (MobiSys 2020)}

• HybridTEE: تنفيذ DNN محمول آمن باستخدام بيئة تنفيذ موثوقة هجينة [Code]
  _{ندوة آسيا حول الأمن والثقة الموجهة نحو الأجهزة (AsianHOST 2020)}- SecDeep: إطار عمل استدلال عميق آمن وعالي الأداء على الجهاز للأجهزة المحمولة وإنترنت الأشياء
  _{المؤتمر الدولي لتصميم وتنفيذ إنترنت الأشياء (IoTDI 2021)}

• ShadowNet: نظام استدلال نموذج آمن وفعال على الجهاز للشبكات العصبية التلافيفية [الكود]
  _{ندوة IEEE حول الأمن والخصوصية (S&P 2023)}

• MirrorNet: إطار عمل صديق لـ TEE لاستدلال DNN آمن على الجهاز
  _{المؤتمر الدولي المشترك بين IEEE/ACM للتصميم بمساعدة الحاسوب (ICCAD 2023)}

• TSQP: حماية الاستدلال في الوقت الحقيقي للشبكات العصبية الكمية على الأجهزة الطرفية [الكود]
  _{ندوة IEEE حول الأمن والخصوصية (S&P 2025)}

• TEESlice: حماية نماذج الشبكات العصبية الحساسة في بيئات التنفيذ الموثوقة عندما يكون لدى المهاجمين نماذج مدربة مسبقًا
  _{معاملات ACM في هندسة البرمجيات والمنهجية (TOSEM 2025)}

• TensorShield: حماية الاستدلال على الجهاز عن طريق حماية موترات DNN الحرجة باستخدام TEE [الكود]
  _{مؤتمر ACM SIGSAC حول أمن الحاسوب والاتصالات (CCS 2025)}

تفريغ محجوب

• GroupCover: إطار استدلال آمن وفعال وقابل للتطوير لحماية النموذج على الجهاز باستخدام TEEs [الكود]
  _{المؤتمر الدولي للتعلم الآلي (ICML 2024)}

• لعبة السهام: حول (عدم) أمان إخفاء الأوزان لخوارزميات تقسيم LLM المحمية بـ TEE على الجهاز [الكود]
  _{ندوة USENIX للأمن (USENIX Security 2025)}

• MirageNet: حماية نموذج آمنة وفعالة وقابلة للتطوير على الجهاز في نظام TEE و GPU غير متجانس
  _{طبعة أولية على arXiv (arXiv 2026)}

• THEMIS: نحو حماية عملية للملكية الفكرية لنماذج التعلم العميق على الجهاز بعد النشر [الكود]
  _{ندوة USENIX للأمن (USENIX Security 2025)}

المشاكل المفتوحة

تلخص المشاكل المفتوحة التالية الفجوات البحثية الرئيسية التي تم تحديدها في SoK الخاص بنا. نبقي الأوصاف هنا على مستوى عالٍ للقراء الذين يستخدمون هذا المستودع. يمكن العثور على مناقشات أكثر تقنية في الورقة.

1. واقعية نشر الهجوم.
   لا تزال الهجمات الخصومة ضد النماذج على الجهاز صعبة التحقيق بعد النشر لأنها غالبًا ما تتطلب التحكم في مدخلات النموذج، أو إدخال تشويشات خصومة، أو إعادة تغليف التطبيق لتعديل كود المعالجة المسبقة. يمكن أن تكون هذه الخطوات غير عملية أو قابلة للاكتشاف في عمليات النشر الفعلية للمستخدمين النهائيين.

2. تعديل النموذج الخفي.
   تحتاج هجمات الباب الخلفي إلى إيجاد نقاط دخول بعد النشر تتجاوز التسميم القياسي في وقت التدريب لأن النماذج على الجهاز عادةً ما تكون للقراءة فقط والاستدلال فقط. التحدي الرئيسي هو إدخال سلوك ضار مخفي دون إنتاج تغييرات ملحوظة في مكونات النموذج.

3. تحديد موقع الوزن الدقيق.
   تكشف هجمات الوزن الخصومة عن خطر سلامة على مستوى المعامل، لكن النشر العملي يعتمد على تحديد موقع الأوزان الحرجة للسلوك في مساحة البحث الكبيرة للمعاملات. هذا صعب لأن المهاجمين غالبًا ما يفتقرون إلى التوجيه التدرجي ويحتاجون إلى الحفاظ على الفائدة الشرعية مع تعديل معاملات محددة فقط.

4. استخراج النموذج الموثوق.
   تخزين النموذج المحلي لا يجعل سرقة النموذج سهلة. لا يزال الاستخراج العملي يعتمد على تحديد النموذج الموثوق، وفك التشفير، وإعادة البناء في وجود خوارزميات تشفير مخصصة، وأطر عمل AI غير قياسية، وسلوك تحميل خاص بوقت التشغيل.

5. عدم تجانس العتاد.
   تعتمد هجمات الطاقة والوقت على كيفية تفاعل أنماط التنشيط المسمومة مع سلوك التنفيذ الخاص بالجهاز. يمكنها تضخيم وقت الاستجابة واستهلاك الطاقة على مسرعات حساسة للندرة، لكنها تفشل في الانتقال إلى عتاد بدون تنفيذ يعتمد على الندرة.

6. التكافؤ القابل للتنفيذ.
   لا يزال إخفاء النموذج بحاجة إلى الحفاظ على دالة التنبؤ الأصلية أثناء الاستدلال المصرح به. يمكن أن يكشف هذا التكافؤ القابل للتنفيذ عن حالات وقت التشغيل القابلة للاسترداد، والأوزان المحولة، ودلالات العامل، أو الآثار الهيكلية التي تمكن استرداد المعاني، أو الهيكل، أو المعاملات.

7. الإنفاذ من جانب العميل.
   يربط تفويض النموذج الاستدلال الصحيح ببيانات الاعتماد، وفحوصات السلامة، واسترداد الوزن المعبأ. ومع ذلك، يجب تنفيذ هذه الفحوصات داخل حزمة الجوال، مما يجعل الإنفاذ معتمدًا على كود جانب العميل الذي يمكن هندسته عكسيًا، وإعادة تغليفه، أو ربطه، أو تنفيذه بعد النشر.

8. جدوى نشر TEE.
   تتطلب دفاعات TEE دعمًا منسقًا عبر تنسيقات النماذج، وأطر عمل AI، ومكتبات العامل، والمندوبين، والمسرعات، وواجهات العزل CPU/GPU/NPU. لا تزال النظم البيئية للجوال الحالية تفتقر إلى حزم استدلال مدعومة بـ TEE واسعة الانتشار وشفافة للمطورين.

9. متانة العلامة المائية.
   تمكن العلامة المائية للنموذج من التحقق من الملكية بعد النشر، لكن النماذج المسروقة قد يتم إعادة نشرها من خلال تحويل الإطار، أو التشفير، أو الوساطة بين الإدخال والإخراج على مستوى التطبيق. يمكن لهذه التحويلات الحفاظ على الاستدلال الشرعي مع تعطيل استجابات المشغل، أو أنماط الثقة، أو دلالات المخرجات المستخدمة للتحقق.

الاتجاهات الناشئة

إلى جانب المشاكل المفتوحة التسع أعلاه، يسلط SoK الخاص بنا الضوء على ثلاثة اتجاهات ناشئة من المرجح أن يتوسع أمن MoAI فيها بعد ذلك. تنتقل هذه الاتجاهات إلى ما وراء النماذج الثابتة للاستدلال فقط على الجهاز نحو أنظمة MoAI تكيفية، توليدية، وموجهة نحو العمل. نلخصها هنا على مستوى عالٍ. توفر الورقة المصاحبة دافعًا أكثر تفصيلاً، وأسطح التهديد، وتحديات البحث.

يركز بحث أمان MoAI الحالي بشكل أساسي على النماذج المنشورة التي تكون للقراءة فقط والاستدلال فقط. يغير التدريب على الجهاز هذا الافتراض من خلال السماح بتحديث النماذج محليًا، مما يعرض التدرجات، وتحديثات المعاملات، وبيانات المستخدم أثناء عملية التدريب. يفتح هذا أسئلة جديدة حول الضبط الدقيق المحلي، وسلامة التحديث، وتعرض بيانات التدريب، وتسميم التخصيص، والدفاعات لحالات وقت التدريب على أجهزة المستخدم النهائي.

لا تزال دراسات أمان MoAI الحالية تركز إلى حد كبير على المهام القائمة على الرؤية مثل تصنيف الصور. مع انتقال LLMs والنماذج التوليدية إلى الهواتف الذكية، يجب أن يتوسع أمان MoAI ليشمل الأنظمة المدفوعة بالمطالبات والتي تولد المحتوى. تشمل التحديات المهمة حقن المطالبات، والاختراقات، والكشف غير المقصود للمعلومات، وتسرب السياق المحلي لـ LLM على الجهاز.

تتطور أنظمة MoAI من الاستدلال المحلي السلبي إلى سير عمل وكيل يربط النماذج بأجهزة الاستشعار، وبيانات المستخدم الخاصة، وسياقات التطبيق، وخدمات نظام التشغيل، وواجهات عبر التطبيقات. هذا يحول تركيز الأمن من حماية مكونات النموذج فقط إلى حكم سلاسل السياق إلى الفعل. يجب أن يدرس العمل المستقبلي سلسلة السياق للجوال، وفصل نية المستخدم الموثوقة عن المحتوى البيئي غير الموثوق، وأذونات محددة المهام لاستخدام الأدوات وواجهات API، والتأكيد والتراجع عن الإجراءات الحساسة، وتدقيق خطط الوكيل وذاكرته وإجراءاته.

@misc{huang2026moaisecurity, title = {SoK: Attack and Defense Landscape of Mobile On-device AI Systems}, author = {Huang, Yujin and Zheng, Xin and Yuan, Xingliang and Lam, Kwok-Yan}, year = {2026}, note = {Companion resources: https://github.com/Jinxhy/Awesome-MoAI-Security}, url = {https://github.com/Jinxhy/Awesome-MoAI-Security} }