Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

मोबाइल ऑन-डिवाइस AI सिस्टम LiteRT/TFLite, Core ML, ExecuTorch, ONNX जैसे ML फ्रेमवर्क और हार्डवेयर-समर्थित एक्सेलेरेटर के माध्यम से AI मॉडल को स्थानीय रूप से निष्पादित करते हैं। यह रिपॉजिटरी ऐसी प्रणालियों को समझने और सुरक्षित करने के लिए आवश्यक सुरक्षा अनुसंधान को ट्रैक करती है, क्योंकि ऑन-डिवाइस मॉडल का स्थानीय भंडारण नए सुरक्षा जोखिम पैदा करता है।

Overview of a Mobile On-Device AI system

रीडिंग रोडमैप

MoAI सुरक्षा में नए हैं? यहाँ से शुरू करें:

पारिस्थितिकी तंत्र को समझें। Android/iOS ऐप्स में डीप लर्निंग ऐप्स और ऑन-डिवाइस मॉडल पर अनुभवजन्य अध्ययन पढ़ें।
मुख्य जोखिम सीखें। मॉडल निष्कर्षण और मॉडल सुरक्षा पेपर का अध्ययन करें, क्योंकि स्थानीय मॉडल निवास MoAI सिस्टम में केंद्रीय सुरक्षा बदलाव है।
हमले की सतहों को समझें। अध्ययन करें कि MoAI हमले इनपुट इंटरफेस, मॉडल आर्टिफैक्ट्स, रनटाइम निष्पादन और हार्डवेयर-समर्थित वातावरण में कैसे उत्पन्न होते हैं।
सुरक्षा उपायों को सतहों से जोड़ें। जांचें कि MoAI सुरक्षा उपाय इन सतहों को पूर्व-तैनाती, रनटाइम निष्पादन और पोस्ट-तैनाती चरणों में कैसे सुरक्षित करते हैं।
आगे देखें। ऑन-डिवाइस प्रशिक्षण, ऑन-डिवाइस GenAI और एजेंटिक MoAI सिस्टम में नई सुरक्षा चुनौतियों का अन्वेषण करें।

• A First Look at Deep Learning Apps on Smartphones
• A First Look at On-device Models in iOS Apps

• Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
• ShadowNet: A Secure and Efficient On-device Model Inference System
• THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

एक नज़र में वर्गीकरण

क्रॉस-पिलर सुरक्षा विश्लेषण

Cross-pillar security analysis of attacks and open problems in MoAI systems.

MoAI सिस्टम पर हमले

मॉडल समानता का शोषण

Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
_{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}
Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
_{IEEE Transactions on Information Forensics and Security (TIFS 2022)}
Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
_{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}
Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
_{Journal of Software: Evolution and Process (JSEP 2024)}
A First Look at On-device Models in iOS Apps [Code]
_{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

ग्रेडिएंट पुनर्निर्माण

Investigating White-Box Attacks for On-Device Models [Code]
_{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}
TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
_{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

प्रीप्रोसेसिंग हेरफेर

Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
_{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

पेलोड इंजेक्शन

DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
_{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}
MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
_{Automated Software Engineering (ASEJ 2026)}

मॉडल क्वांटाइज़ेशन

Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
_{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

MoAI सिस्टम के लिए सुरक्षा उपाय

सॉफ्टवेयर-स्तरीय छुपाव

ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
_{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}
DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
_{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}
Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
_{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

हार्डवेयर-स्तरीय छुपाव

NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
_{International Conference on Machine Learning (ICML 2023)}
A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
_{Scientific Reports (Sci. Rep. 2025)}
Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
_{Annual Computer Security Applications Conference (ACSAC 2025)}

MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
_{IEEE Security and Privacy Workshops (SPW 2021)}
Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
_{Annual Computer Security Applications Conference (ACSAC 2025)}

मोनोलिथिक निष्पादन

Offline Model Guard: Secure and Private ML on Mobile Devices
_{Design, Automation and Test in Europe Conference (DATE 2020)}
GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
_{ACM/IFIP International Middleware Conference (Middleware 2022)}
Secure and Efficient Mobile DNN Using Trusted Execution Environments
_{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}
T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
_{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}
LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
_{IEEE Transactions on Mobile Computing (TMC 2022)}
ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
_{Network and Distributed System Security Symposium (NDSS 2025)}
TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
_{European Conference on Computer Systems (EuroSys 2026)}
FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
_{arXiv preprint (arXiv 2026)}

विभाजित निष्पादन

DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
_{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}
HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
_{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: मोबाइल और IoT उपकरणों के लिए सुरक्षित और उच्च-प्रदर्शन वाला ऑन-डिवाइस डीप लर्निंग इन्फ्रेंस फ्रेमवर्क
_{इंटरनेट-ऑफ-थिंग्स डिज़ाइन और कार्यान्वयन पर अंतर्राष्ट्रीय सम्मेलन (IoTDI 2021)}
ShadowNet: कन्वोल्यूशनल न्यूरल नेटवर्क के लिए एक सुरक्षित और कुशल ऑन-डिवाइस मॉडल इन्फ्रेंस सिस्टम [कोड]
_{IEEE सुरक्षा और गोपनीयता संगोष्ठी (S&P 2023)}
MirrorNet: सुरक्षित ऑन-डिवाइस DNN इन्फ्रेंस के लिए TEE-अनुकूल फ्रेमवर्क
_{IEEE/ACM अंतर्राष्ट्रीय कंप्यूटर-एडेड डिज़ाइन सम्मेलन (ICCAD 2023)}
TSQP: एज डिवाइसों पर क्वांटाइज़ेशन न्यूरल नेटवर्क के लिए रीयल-टाइम इन्फ्रेंस की सुरक्षा [कोड]
_{IEEE सुरक्षा और गोपनीयता संगोष्ठी (S&P 2025)}
TEESlice: विश्वसनीय निष्पादन वातावरण में संवेदनशील न्यूरल नेटवर्क मॉडल की सुरक्षा जब हमलावरों के पास पूर्व-प्रशिक्षित मॉडल हों
_{ACM सॉफ्टवेयर इंजीनियरिंग और कार्यप्रणाली पर लेनदेन (TOSEM 2025)}
TensorShield: TEE के साथ महत्वपूर्ण DNN टेंसर को ढालकर ऑन-डिवाइस इन्फ्रेंस की सुरक्षा [कोड]

अस्पष्टीकृत ऑफलोडिंग

GroupCover: TEE पर आधारित ऑन-डिवाइस मॉडल सुरक्षा के लिए एक सुरक्षित, कुशल और स्केलेबल इन्फ्रेंस फ्रेमवर्क [कोड]
_{मशीन लर्निंग पर अंतर्राष्ट्रीय सम्मेलन (ICML 2024)}
तीरों का खेल: ऑन-डिवाइस TEE-संरक्षित LLM विभाजन एल्गोरिदम के लिए वेट अस्पष्टीकरण की (अ-)सुरक्षा पर [कोड]
_{USENIX सुरक्षा संगोष्ठी (USENIX Security 2025)}
MirageNet: विषम TEE और GPU प्रणाली में सुरक्षित, कुशल और स्केलेबल ऑन-डिवाइस मॉडल सुरक्षा
_{arXiv प्रीप्रिंट (arXiv 2026)}

THEMIS: तैनाती के बाद ऑन-डिवाइस डीप लर्निंग मॉडल के लिए व्यावहारिक बौद्धिक संपदा संरक्षण की दिशा में [कोड]
_{USENIX सुरक्षा संगोष्ठी (USENIX Security 2025)}

खुली समस्याएँ

निम्नलिखित खुली समस्याएँ हमारे SoK में पहचाने गए मुख्य शोध अंतरालों का सारांश प्रस्तुत करती हैं। हम यहाँ विवरणों को उच्च-स्तरीय रखते हैं ताकि इस रिपॉजिटरी का उपयोग करने वाले पाठकों को सुविधा हो। अधिक तकनीकी चर्चाएँ पेपर में पाई जा सकती हैं।

हमले की तैनाती की व्यावहारिकता।
ऑन-डिवाइस मॉडलों के विरुद्ध प्रतिकूल हमले तैनाती के बाद साकार करना कठिन बने रहते हैं क्योंकि उन्हें अक्सर मॉडल इनपुट पर नियंत्रण, प्रतिकूल व्यवधानों का सम्मिलन, या प्रीप्रोसेसिंग कोड को संशोधित करने के लिए ऐप रीपैकेजिंग की आवश्यकता होती है। ये चरण वास्तविक अंत-उपयोगकर्ता तैनाती में अव्यावहारिक या पहचाने जाने योग्य हो सकते हैं।
गुप्त मॉडल संशोधन।
बैकडोर हमलों को मानक प्रशिक्षण-समय विषाक्तता से परे तैनाती-पश्चात प्रवेश बिंदु खोजने की आवश्यकता होती है क्योंकि ऑन-डिवाइस मॉडल आमतौर पर केवल-पठनीय और केवल-इन्फ्रेंस होते हैं। मुख्य चुनौती मॉडल कलाकृतियों में अवलोकन योग्य परिवर्तन उत्पन्न किए बिना छिपे हुए दुर्भावनापूर्ण व्यवहार को प्रस्तुत करना है।
सटीक वेट स्थानीयकरण।
प्रतिकूल वेट हमले पैरामीटर-स्तरीय अखंडता जोखिम को उजागर करते हैं, लेकिन व्यावहारिक तैनाती बड़े पैरामीटर खोज स्थान में व्यवहार-महत्वपूर्ण वेट का पता लगाने पर निर्भर करती है। यह कठिन है क्योंकि हमलावरों के पास अक्सर ग्रेडिएंट मार्गदर्शन का अभाव होता है और उन्हें केवल चयनित पैरामीटर संशोधित करते हुए लाभकारी उपयोगिता को संरक्षित करने की आवश्यकता होती है।
विश्वसनीय मॉडल निष्कर्षण।
स्थानीय मॉडल भंडारण मॉडल चोरी को सीधा नहीं बनाता। व्यावहारिक निष्कर्षण अभी भी अनुकूलित एन्क्रिप्शन एल्गोरिदम, गैर-मानक AI फ्रेमवर्क और रनटाइम-विशिष्ट लोडिंग व्यवहार की उपस्थिति में विश्वसनीय मॉडल पहचान, डिक्रिप्शन और पुनर्निर्माण पर निर्भर करता है।
हार्डवेयर विषमता।
ऊर्जा-विलंबता हमले इस बात पर निर्भर करते हैं कि विषाक्त सक्रियण पैटर्न डिवाइस-विशिष्ट निष्पादन व्यवहार के साथ कैसे परस्पर क्रिया करते हैं। वे स्पार्सिटी-संवेदनशील एक्सेलेरेटर पर विलंबता और ऊर्जा खपत को बढ़ा सकते हैं, लेकिन स्पार्सिटी-निर्भर निष्पादन के बिना हार्डवेयर पर स्थानांतरित होने में विफल हो सकते हैं।

निष्पादन योग्य समतुल्यता।
मॉडल अस्पष्टीकरण को अधिकृत इन्फ्रेंस के दौरान मूल भविष्यवाणी फ़ंक्शन को संरक्षित करने की आवश्यकता होती है। यह निष्पादन योग्य समतुल्यता पुनर्प्राप्त करने योग्य रनटाइम अवस्थाओं, रूपांतरित वेट, ऑपरेटर शब्दार्थ, या संरचनात्मक निशानों को उजागर कर सकती है जो अर्थगत, संरचनात्मक, या पैरामीटर पुनर्प्राप्ति को सक्षम बनाती हैं।
क्लाइंट-साइड प्रवर्तन।
मॉडल प्राधिकरण सही इन्फ्रेंस को क्रेडेंशियल्स, अखंडता जांच और पैक्ड-वेट पुनर्प्राप्ति से बांधता है। हालाँकि, इन जांचों को मोबाइल स्टैक के भीतर निष्पादित करने की आवश्यकता होती है, जिससे प्रवर्तन क्लाइंट-साइड कोड पर निर्भर हो जाता है जिसे तैनाती के बाद रिवर्स इंजीनियर, रीपैकेज, हुक या इंस्ट्रूमेंट किया जा सकता है।
TEE तैनाती की व्यवहार्यता।
TEE रक्षाओं को मॉडल प्रारूपों, AI फ्रेमवर्क, ऑपरेटर लाइब्रेरी, डेलीगेट्स, एक्सेलेरेटर और CPU/GPU/NPU अलगाव इंटरफेस में समन्वित समर्थन की आवश्यकता होती है। वर्तमान मोबाइल पारिस्थितिकी तंत्रों में अभी भी व्यापक रूप से अपनाए गए, डेवलपर-पारदर्शी TEE-समर्थित इन्फ्रेंस स्टैक का अभाव है।
वॉटरमार्क मजबूती।
मॉडल वॉटरमार्किंग तैनाती-पश्चात स्वामित्व सत्यापन को सक्षम बनाता है, लेकिन चुराए गए मॉडल फ्रेमवर्क रूपांतरण, एन्क्रिप्शन, या ऐप-स्तरीय इनपुट-आउटपुट मध्यस्थता के माध्यम से पुनः तैनात किए जा सकते हैं। ये परिवर्तन लाभकारी इन्फ्रेंस को संरक्षित कर सकते हैं जबकि सत्यापन के लिए उपयोग किए जाने वाले ट्रिगर प्रतिक्रियाओं, आत्मविश्वास पैटर्न, या आउटपुट शब्दार्थ को बाधित कर सकते हैं।

उभरती दिशाएँ

ऊपर की नौ खुली समस्याओं के अलावा, हमारा SoK तीन उभरती दिशाओं पर प्रकाश डालता है जहाँ MOAI सुरक्षा के आगे विस्तारित होने की संभावना है। ये दिशाएँ MoAI सुरक्षा अनुसंधान को व्यवस्थित मूल्यांकन की ओर ले जाती हैं जबकि इसके दायरे को ऑन-डिवाइस प्रशिक्षण और एजेंटिक MoAI प्रणालियों द्वारा प्रस्तुत उभरती हमले की सतहों तक विस्तारित करती हैं। हम उन्हें यहाँ उच्च स्तर पर सारांशित करते हैं। साथी पेपर अधिक विस्तृत प्रेरणा, खतरे की सतहें और शोध चुनौतियाँ प्रदान करता है।

मौजूदा MoAI सुरक्षा अध्ययन स्व-एकत्रित डेटासेट, विधि-विशिष्ट मेट्रिक्स और विभिन्न खतरे मॉडल का उपयोग करके हमलों और रक्षाओं का मूल्यांकन करते हैं, और आमतौर पर एकल प्लेटफ़ॉर्म (Android या iOS) तक सीमित होते हैं। यह मूल्यांकन परिणामों की तुलना को कठिन बनाता है और प्लेटफ़ॉर्म-विशिष्ट अंतरों को अनदेखा करता है। भविष्य के कार्य को एकीकृत बेंचमार्क स्थापित करने चाहिए जो डेटासेट, मेट्रिक्स और खतरे मॉडल को मानकीकृत करें और MoAI सुरक्षा के व्यवस्थित, तुलनीय और प्रतिलिपि योग्य मूल्यांकन के लिए क्रॉस-प्लेटफ़ॉर्म मूल्यांकन का समर्थन करें।

वर्तमान MoAI सुरक्षा अनुसंधान मुख्य रूप से तैनात मॉडलों पर केंद्रित है जो केवल-पठनीय और केवल-इन्फ्रेंस होते हैं। ऑन-डिवाइस प्रशिक्षण इस धारणा को बदल देता है क्योंकि यह मॉडलों को स्थानीय रूप से अद्यतन करने की अनुमति देता है, जो प्रशिक्षण प्रक्रिया के दौरान ग्रेडिएंट्स, पैरामीटर अद्यतन और उपयोगकर्ता डेटा को उजागर करता है। यह स्थानीय फाइन-ट्यूनिंग, अद्यतन अखंडता, प्रशिक्षण-डेटा जोखिम, वैयक्तिकरण विषाक्तता और अंत-उपयोगकर्ता उपकरणों पर प्रशिक्षण-समय अवस्थाओं के लिए रक्षाओं के आसपास नए प्रश्न खोलता है।

MoAI प्रणालियाँ निष्क्रिय स्थानीय इन्फ्रेंस से एजेंटिक वर्कफ़्लो की ओर विकसित हो रही हैं जो मॉडलों को सेंसर, निजी उपयोगकर्ता डेटा, ऐप संदर्भों, OS सेवाओं और क्रॉस-ऐप इंटरफेस से जोड़ती हैं। यह सुरक्षा फोकस को केवल मॉडल कलाकृतियों की सुरक्षा से संदर्भ-से-क्रिया श्रृंखलाओं के शासन की ओर स्थानांतरित करता है। भविष्य के कार्य को मोबाइल संदर्भ के लिए उत्पत्ति, अविश्वसनीय पर्यावरणीय सामग्री से विश्वसनीय उपयोगकर्ता इरादे का पृथक्करण, टूल और API उपयोग के लिए कार्य-स्कोप्ड अनुमतियाँ, संवेदनशील क्रियाओं के लिए पुष्टि और रोलबैक, और एजेंट योजनाओं, मेमोरी और क्रियाओं का ऑडिटिंग का अध्ययन करना चाहिए।

उपयोगकर्ता-नियंत्रित इनपुट अखंडता	उपयोगकर्ता इनपुट की एंड-टू-एंड अखंडता, मोबाइल डेटा अधिग्रहण से मॉडल-इनपुट हैंडऑफ तक	एडवर्सेरियल हमले, बैकडोर हमले, ऊर्जा-विलंबता हमले	-
डिवाइस-निवासी मॉडल सुरक्षा	तैनात मॉडल आर्टिफैक्ट्स और सभी पोस्ट-तैनाती रूप जिनमें मॉडल डिवाइस पर संग्रहीत, लोड, रूपांतरित या भौतिक रूप से प्रस्तुत किए जाते हैं	एडवर्सेरियल हमले, बैकडोर हमले, एडवर्सेरियल वेट हमले, मॉडल चोरी के हमले, ऊर्जा-विलंबता हमले	मॉडल अस्पष्टीकरण, मॉडल प्राधिकरण, TEE, मॉडल वॉटरमार्किंग
डिवाइस-मूल वातावरण संयम	मोबाइल OS, AI रनटाइम, मेमोरी सबसिस्टम और हार्डवेयर-समर्थित निष्पादन वातावरण में संवेदनशील अनुमान गणना और रनटाइम अवस्थाएँ	मॉडल चोरी के हमले, ऊर्जा-विलंबता हमले	मॉडल अस्पष्टीकरण, TEE

सबसे लोकप्रिय

Awesome-MoAI-Security