बेहतरीन मोबाइल ऑन-डिवाइस AI सुरक्षा

SoK: मोबाइल ऑन-डिवाइस AI सिस्टम का हमला और बचाव परिदृश्य

Yujin Huang, Xin Zheng, Xingliang Yuan, Kwok-Yan Lam

मोबाइल ऑन-डिवाइस AI सिस्टम ML फ्रेमवर्क जैसे LiteRT/TFLite, Core ML, ExecuTorch, ONNX, और हार्डवेयर-समर्थित एक्सेलरेटर के माध्यम से AI मॉडल को स्थानीय रूप से निष्पादित करते हैं। यह रिपॉजिटरी ऐसी प्रणालियों को समझने और सुरक्षित करने के लिए आवश्यक सुरक्षा अनुसंधान को ट्रैक करती है, क्योंकि ऑन-डिवाइस मॉडल का स्थानीय भंडारण नए सुरक्षा जोखिम पैदा करता है।

मोबाइल ऑन-डिवाइस AI सिस्टम का अवलोकन

सामग्री

• पढ़ने का रोडमैप
• एक नज़र में वर्गीकरण
• क्रॉस-पिलर सुरक्षा विश्लेषण
• MoAI सिस्टम पर हमले
  • प्रतिकूल हमले
    • मॉडल समानता का शोषण
    • ग्रेडिएंट पुनर्निर्माण
    • प्रीप्रोसेसिंग हेरफेर
  • बैकडोर हमले
    • पेलोड इंजेक्शन
    • मॉडल क्वांटाइज़ेशन
    • इमेज स्टेगानोग्राफी
  • प्रतिकूल भार हमले
  • मॉडल चोरी हमले
    • स्थैतिक विश्लेषण
    • गतिशील विश्लेषण
    • साइड चैनल
  • ऊर्जा-विलंबता हमले
• MoAI सिस्टम के लिए बचाव
  • मॉडल अस्पष्टीकरण
    • सॉफ्टवेयर-स्तरीय छिपाव
    • हार्डवेयर-स्तरीय छिपाव
  • मॉडल प्राधिकरण
  • विश्वसनीय निष्पादन वातावरण
    • मोनोलिथिक निष्पादन
    • विभाजित निष्पादन
    • अस्पष्ट ऑफलोडिंग
  • मॉडल वॉटरमार्किंग
• खुली समस्याएं
• उभरती दिशाएँ

पढ़ने का रोडमैप

MoAI सुरक्षा में नए हैं? यहाँ से शुरू करें:

1. पारिस्थितिकी तंत्र को समझें। Android/iOS ऐप्स में डीप लर्निंग ऐप्स और ऑन-डिवाइस मॉडल पर अनुभवजन्य अध्ययन पढ़ें।
2. मुख्य जोखिम सीखें। मॉडल निष्कर्षण और मॉडल सुरक्षा पत्रों का अध्ययन करें, क्योंकि स्थानीय मॉडल निवास MoAI सिस्टम में केंद्रीय सुरक्षा बदलाव है।
3. हमले की सतहों को समझें। जानें कि कैसे MoAI हमले इनपुट इंटरफेस, मॉडल आर्टिफैक्ट, रनटाइम निष्पादन और हार्डवेयर-समर्थित वातावरणों में उत्पन्न होते हैं।
4. बचाव को सतहों से जोड़ें। जांचें कि कैसे MoAI बचाव पूर्व-तैनाती, रनटाइम निष्पादन और पोस्ट-तैनाती चरणों में इन सतहों की रक्षा करते हैं।
5. आगे देखें। ऑन-डिवाइस प्रशिक्षण, ऑन-डिवाइस GenAI और एजेंटिक MoAI सिस्टम में नई सुरक्षा चुनौतियों का अन्वेषण करें।

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

एक नज़र में वर्गीकरण

क्रॉस-पिलर सुरक्षा विश्लेषण

MoAI सिस्टम पर हमले

मॉडल समानता का शोषण

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM अंतर्राष्ट्रीय सॉफ्टवेयर इंजीनियरिंग सम्मेलन: व्यवहार में सॉफ्टवेयर इंजीनियरिंग (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE सूचना फोरेंसिक और सुरक्षा पर लेन-देन (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC कंप्यूटर और संचार सुरक्षा सम्मेलन (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{सॉफ्टवेयर जर्नल: विकास और प्रक्रिया (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM सॉफ्टवेयर इंजीनियरिंग और पद्धति पर लेन-देन (TOSEM 2024)}

ग्रेडिएंट पुनर्निर्माण

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM अंतर्राष्ट्रीय सॉफ्टवेयर इंजीनियरिंग सम्मेलन (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
  _{IEEE सूचना फोरेंसिक और सुरक्षा पर लेन-देन (TIFS 2024)}

प्रीप्रोसेसिंग हेरफेर

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
  _{सुरक्षित और विश्वसनीय डीप लर्निंग सिस्टम कार्यशाला (SecTL 2023)}

पेलोड इंजेक्शन

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
  _{IEEE/ACM अंतर्राष्ट्रीय सॉफ्टवेयर इंजीनियरिंग सम्मेलन (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
  _{स्वचालित सॉफ्टवेयर इंजीनियरिंग (ASEJ 2026)}

मॉडल क्वांटाइज़ेशन

• Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
  _{IEEE विश्वसनीय और सुरक्षित कंप्यूटिंग पर लेन-देन (TDSC 2024)}

इमेज स्टेगानोग्राफी

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv प्रीप्रिंट (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE विश्वसनीय और सुरक्षित कंप्यूटिंग पर लेन-देन (TDSC 2026)}

स्थैतिक विश्लेषण

• A First Look at Deep Learning Apps on Smartphones [Code]
  _{विश्वव्यापी वेब सम्मेलन (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM सॉफ्टवेयर इंजीनियरिंग और पद्धति पर लेन-देन (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX सुरक्षा संगोष्ठी (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE अंतर्राष्ट्रीय सॉफ्टवेयर विश्वसनीयता इंजीनियरिंग संगोष्ठी (ISSRE 2024)}

गतिशील विश्लेषण

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX सुरक्षा संगोष्ठी (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC कंप्यूटर और संचार सुरक्षा सम्मेलन (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Code]
  _{IEEE/ACM अंतर्राष्ट्रीय सॉफ्टवेयर इंजीनियरिंग सम्मेलन (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX सुरक्षा संगोष्ठी (USENIX Security 2025)}

साइड चैनल

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE अंतर्राष्ट्रीय गुणवत्ता इलेक्ट्रॉनिक डिजाइन संगोष्ठी (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC कंप्यूटर और संचार सुरक्षा सम्मेलन (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{सुरक्षित और विश्वसनीय डीप लर्निंग सिस्टम कार्यशाला (SecTL 2023)}

MoAI सिस्टम के लिए बचाव

सॉफ्टवेयर-स्तरीय छिपाव

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
  _{ACM SIGSOFT अंतर्राष्ट्रीय सॉफ्टवेयर परीक्षण और विश्लेषण संगोष्ठी (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
  _{IEEE/ACM अंतर्राष्ट्रीय स्वचालित सॉफ्टवेयर इंजीनियरिंग सम्मेलन (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
  _{ACM SIGSOFT अंतर्राष्ट्रीय सॉफ्टवेयर परीक्षण और विश्लेषण संगोष्ठी (ISSTA 2024)}

हार्डवेयर-स्तरीय छिपाव

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
  _{अंतर्राष्ट्रीय मशीन लर्निंग सम्मेलन (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{वैज्ञानिक रिपोर्ट (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{वार्षिक कंप्यूटर सुरक्षा अनुप्रयोग सम्मेलन (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
  _{IEEE सुरक्षा और गोपनीयता कार्यशालाएँ (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{वार्षिक कंप्यूटर सुरक्षा अनुप्रयोग सम्मेलन (ACSAC 2025)}

मोनोलिथिक निष्पादन

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{डिज़ाइन, स्वचालन और यूरोप में परीक्षण सम्मेलन (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP अंतर्राष्ट्रीय मिडलवेयर सम्मेलन (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM एशिया कंप्यूटर और संचार सुरक्षा सम्मेलन (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM डेटा और अनुप्रयोग सुरक्षा और गोपनीयता सम्मेलन (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE मोबाइल कंप्यूटिंग पर लेन-देन (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
  _{नेटवर्क और वितरित सिस्टम सुरक्षा संगोष्ठी (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
  _{यूरोपीय कंप्यूटर सिस्टम सम्मेलन (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv प्रीप्रिंट (arXiv 2026)}

विभाजित निष्पादन

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
  _{वार्षिक अंतर्राष्ट्रीय मोबाइल सिस्टम, अनुप्रयोग और सेवा सम्मेलन (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
  _{एशियाई हार्डवेयर उन्मुख सुरक्षा और विश्वसनीयता संगोष्ठी (AsianHOST 2020)}- SecDeep: मोबाइल और IoT उपकरणों के लिए सुरक्षित और प्रदर्शनशील ऑन-डिवाइस डीप लर्निंग इंफ़रेंस फ्रेमवर्क
  _{इंटरनेट-ऑफ़-थिंग्स डिज़ाइन और कार्यान्वयन पर अंतर्राष्ट्रीय सम्मेलन (IoTDI 2021)}

• ShadowNet: कन्वोल्यूशनल न्यूरल नेटवर्क के लिए एक सुरक्षित और कुशल ऑन-डिवाइस मॉडल इंफ़रेंस सिस्टम [कोड]
  _{IEEE सुरक्षा और गोपनीयता संगोष्ठी (S&P 2023)}

• MirrorNet: सुरक्षित ऑन-डिवाइस DNN इंफ़रेंस के लिए TEE-अनुकूल फ्रेमवर्क
  _{IEEE/ACM अंतर्राष्ट्रीय कंप्यूटर-सहायता प्राप्त डिज़ाइन सम्मेलन (ICCAD 2023)}

• TSQP: एज उपकरणों पर क्वांटाइज़ेशन न्यूरल नेटवर्क के लिए रीयल-टाइम इंफ़रेंस की सुरक्षा [कोड]
  _{IEEE सुरक्षा और गोपनीयता संगोष्ठी (S&P 2025)}

• TEESlice: जब हमलावरों के पास पूर्व-प्रशिक्षित मॉडल हों तब विश्वसनीय निष्पादन वातावरण में संवेदनशील न्यूरल नेटवर्क मॉडल की सुरक्षा
  _{ACM सॉफ़्टवेयर इंजीनियरिंग और पद्धति पर लेन-देन (TOSEM 2025)}

• TensorShield: टीईई के साथ महत्वपूर्ण DNN टेंसरों को शील्ड करके ऑन-डिवाइस इंफ़रेंस की सुरक्षा [कोड]

ओबफस्केटेड ऑफलोडिंग

• GroupCover: TEE-आधारित ऑन-डिवाइस मॉडल सुरक्षा के लिए एक सुरक्षित, कुशल और स्केलेबल इंफ़रेंस फ्रेमवर्क [कोड]
  _{अंतर्राष्ट्रीय मशीन लर्निंग सम्मेलन (ICML 2024)}

• तीरों का खेल: ऑन-डिवाइस TEE-शील्डेड LLM विभाजन एल्गोरिदम के भार ओबफस्केशन की (अ-)सुरक्षा पर [कोड]
  _{USENIX सुरक्षा संगोष्ठी (USENIX Security 2025)}

• MirageNet: विषम TEE और GPU सिस्टम में एक सुरक्षित, कुशल और स्केलेबल ऑन-डिवाइस मॉडल सुरक्षा
  _{arXiv प्रीप्रिंट (arXiv 2026)}

• THEMIS: पोस्ट-डिप्लॉयमेंट ऑन-डिवाइस डीप लर्निंग मॉडल के लिए व्यावहारिक बौद्धिक संपदा संरक्षण की ओर [कोड]
  _{USENIX सुरक्षा संगोष्ठी (USENIX Security 2025)}

खुली समस्याएं

निम्नलिखित खुली समस्याएं हमारे SoK में पहचाने गए मुख्य शोध अंतराल को सारांशित करती हैं। हम यहां विवरण को उच्च-स्तरीय रखते हैं ताकि पाठक इस रिपॉजिटरी का उपयोग कर सकें। अधिक तकनीकी चर्चाएं पेपर में पाई जा सकती हैं।

1. हमला तैनाती की व्यावहारिकता।
   ऑन-डिवाइस मॉडलों के खिलाफ विरोधी हमले तैनाती के बाद भी व्यावहारिक रूप से कठिन रहते हैं, क्योंकि उन्हें अक्सर मॉडल इनपुट पर नियंत्रण, विरोधी व्यवधानों का सम्मिलन, या प्रीप्रोसेसिंग कोड को संशोधित करने के लिए ऐप रीपैकेजिंग की आवश्यकता होती है। ये कदम वास्तविक अंत-उपयोगकर्ता तैनाती में अव्यावहारिक या पहचाने जाने योग्य हो सकते हैं।

2. गुप्त मॉडल संशोधन।
   बैकडोर हमलों को मानक प्रशिक्षण-समय विषाक्तता से परे पोस्ट-डिप्लॉयमेंट प्रवेश बिंदु खोजने की आवश्यकता होती है, क्योंकि ऑन-डिवाइस मॉडल आमतौर पर केवल-पढ़ने और केवल-अनुमान होते हैं। मुख्य चुनौती मॉडल आर्टिफैक्ट में देखने योग्य परिवर्तन उत्पन्न किए बिना छिपे हुए दुर्भावनापूर्ण व्यवहार को शामिल करना है।

3. सटीक भार स्थानीयकरण।
   विरोधी भार हमले एक पैरामीटर-स्तरीय अखंडता जोखिम को उजागर करते हैं, लेकिन व्यावहारिक तैनाती बड़े पैरामीटर खोज स्थान में व्यवहार-महत्वपूर्ण भार का पता लगाने पर निर्भर करती है। यह कठिन है क्योंकि हमलावरों के पास अक्सर ग्रेडिएंट मार्गदर्शन का अभाव होता है और उन्हें केवल चयनित पैरामीटर को संशोधित करते हुए वैध उपयोगिता को संरक्षित करने की आवश्यकता होती है।

4. विश्वसनीय मॉडल निष्कर्षण।
   स्थानीय मॉडल भंडारण मॉडल चोरी को सीधा नहीं बनाता है। व्यावहारिक निष्कर्षण अभी भी अनुकूलित एन्क्रिप्शन एल्गोरिदम, गैर-मानक AI फ्रेमवर्क और रनटाइम-विशिष्ट लोडिंग व्यवहार की उपस्थिति में विश्वसनीय मॉडल पहचान, डिक्रिप्शन और पुनर्निर्माण पर निर्भर करता है।

5. हार्डवेयर विषमता।
   ऊर्जा-विलंबता हमले इस बात पर निर्भर करते हैं कि विषाक्त सक्रियण पैटर्न डिवाइस-विशिष्ट निष्पादन व्यवहार के साथ कैसे इंटरैक्ट करते हैं। वे स्पार्सिटी-संवेदनशील एक्सीलरेटर पर विलंबता और ऊर्जा खपत को बढ़ा सकते हैं, लेकिन स्पार्सिटी-निर्भर निष्पादन के बिना हार्डवेयर पर स्थानांतरित होने में विफल हो सकते हैं।

6. निष्पादन योग्य तुल्यता।
   मॉडल ओबफस्केशन को अभी भी अधिकृत अनुमान के दौरान मूल भविष्यवाणी फ़ंक्शन को संरक्षित करने की आवश्यकता है। यह निष्पादन योग्य तुल्यता पुनर्प्राप्त करने योग्य रनटाइम अवस्थाओं, रूपांतरित भारों, ऑपरेटर शब्दार्थ या संरचनात्मक निशानों को उजागर कर सकती है जो शब्दार्थ, संरचनात्मक या पैरामीटर पुनर्प्राप्ति को सक्षम करते हैं।

7. क्लाइंट-साइड प्रवर्तन।
   मॉडल प्राधिकरण सही अनुमान को क्रेडेंशियल्स, अखंडता जांच और पैक-भार पुनर्प्राप्ति से बांधता है। हालांकि, इन जांचों को मोबाइल स्टैक के अंदर निष्पादित करने की आवश्यकता होती है, जिससे प्रवर्तन क्लाइंट-साइड कोड पर निर्भर हो जाता है जिसे तैनाती के बाद रिवर्स इंजीनियर, रीपैकेज, हुक या इंस्ट्रूमेंट किया जा सकता है।

8. TEE तैनाती की व्यवहार्यता।
   TEE रक्षा उपायों के लिए मॉडल प्रारूपों, AI फ्रेमवर्क, ऑपरेटर लाइब्रेरी, डेलिगेट, एक्सीलरेटर और CPU/GPU/NPU पृथक्करण इंटरफेस में समन्वित समर्थन की आवश्यकता होती है। वर्तमान मोबाइल पारिस्थितिकी तंत्र में अभी भी व्यापक रूप से अपनाए गए, डेवलपर-पारदर्शी TEE-समर्थित इंफ़रेंस स्टैक का अभाव है।

9. वॉटरमार्क मजबूती।
   मॉडल वॉटरमार्किंग पोस्ट-डिप्लॉयमेंट स्वामित्व सत्यापन को सक्षम करता है, लेकिन चुराए गए मॉडल को फ्रेमवर्क रूपांतरण, एन्क्रिप्शन या ऐप-स्तरीय इनपुट-आउटपुट मध्यस्थता के माध्यम से पुनः तैनात किया जा सकता है। ये परिवर्तन वैध अनुमान को संरक्षित कर सकते हैं जबकि सत्यापन के लिए उपयोग किए जाने वाले ट्रिगर प्रतिक्रियाओं, विश्वास पैटर्न या आउटपुट शब्दार्थ को बाधित कर सकते हैं।

उभरती दिशाएं

उपरोक्त नौ खुली समस्याओं के अलावा, हमारा SoK तीन उभरती दिशाओं पर प्रकाश डालता है जहां MOAI सुरक्षा के अगले विस्तार की संभावना है। ये दिशाएं स्थिर, केवल-अनुमान ऑन-डिवाइस मॉडल से अनुकूली, उत्पादक और क्रिया-उन्मुख MoAI सिस्टम की ओर बढ़ती हैं। हम यहां उन्हें उच्च स्तर पर सारांशित करते हैं। साथी पेपर अधिक विस्तृत प्रेरणा, खतरे की सतह और शोध चुनौतियां प्रदान करता है।

वर्तमान MoAI सुरक्षा अनुसंधान मुख्य रूप से तैनात मॉडलों पर केंद्रित है जो केवल-पढ़ने और केवल-अनुमान हैं। ऑन-डिवाइस प्रशिक्षण इस धारणा को बदल देता है, जिससे मॉडल को स्थानीय रूप से अपडेट किया जा सकता है, जो प्रशिक्षण प्रक्रिया के दौरान ग्रेडिएंट, पैरामीटर अपडेट और उपयोगकर्ता डेटा को उजागर करता है। यह स्थानीय फाइन-ट्यूनिंग, अपडेट अखंडता, प्रशिक्षण-डेटा एक्सपोज़र, वैयक्तिकरण विषाक्तता और अंत-उपयोगकर्ता उपकरणों पर प्रशिक्षण-समय अवस्थाओं के लिए रक्षा उपायों के आसपास नए प्रश्न खोलता है।

मौजूदा MoAI सुरक्षा अध्ययन अभी भी बड़े पैमाने पर दृष्टि-आधारित कार्यों जैसे छवि वर्गीकरण पर केंद्रित हैं। जैसे-जैसे LLM और उत्पादक मॉडल स्मार्टफोन पर आगे बढ़ते हैं, MoAI सुरक्षा को प्रॉम्प्ट-संचालित और सामग्री-उत्पादक प्रणालियों तक विस्तारित करना होगा। महत्वपूर्ण चुनौतियों में प्रॉम्प्ट इंजेक्शन, जेलब्रेक, अनजाने में जानकारी का खुलासा और ऑन-डिवाइस LLM के लिए स्थानीय संदर्भ रिसाव शामिल हैं।

MoAI सिस्टम निष्क्रिय स्थानीय अनुमान से एजेंटिक वर्कफ़्लो की ओर विकसित हो रहे हैं जो मॉडलों को सेंसर, निजी उपयोगकर्ता डेटा, ऐप संदर्भों, OS सेवाओं और क्रॉस-ऐप इंटरफेस से जोड़ते हैं। यह सुरक्षा फोकस को केवल मॉडल आर्टिफैक्ट की सुरक्षा से संदर्भ-से-क्रिया श्रृंखलाओं को नियंत्रित करने की ओर स्थानांतरित करता है। भविष्य के कार्य में मोबाइल संदर्भ के लिए उत्पत्ति, अविश्वसनीय पर्यावरणीय सामग्री से विश्वसनीय उपयोगकर्ता इरादे का पृथक्करण, टूल और API उपयोग के लिए कार्य-स्कोपेड अनुमतियां, संवेदनशील कार्यों के लिए पुष्टिकरण और रोलबैक, और एजेंट योजनाओं, मेमोरी और क्रियाओं का ऑडिटिंग शामिल होना चाहिए।

@misc{huang2026moaisecurity, title = {SoK: Attack and Defense Landscape of Mobile On-device AI Systems}, author = {Huang, Yujin and Zheng, Xin and Yuan, Xingliang and Lam, Kwok-Yan}, year = {2026}, note = {Companion resources: https://github.com/Jinxhy/Awesome-MoAI-Security}, url = {https://github.com/Jinxhy/Awesome-MoAI-Security} }