अपडेट पर वापस जाएँ
UpdatedJul 21, 2026

Awesome-MoAI-Security — Updated!

मोबाइल ऑन-डिवाइस AI सिस्टम के लिए आक्रमण और रक्षा अनुसंधान की सुव्यवस्थित पठन सूची और वर्गीकरण, जिसमें एडवर्सेरियल, बैकडोर, मॉडल चोरी, और ऊर्जा-विलंबता आक्रमण शामिल हैं, साथ ही अस्पष्टीकरण, TEE, और वॉटरमार्किंग रक्षा तकनीकें शामिल हैं।

साझा करें

Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

मोबाइल ऑन-डिवाइस AI सिस्टम LiteRT/TFLite, Core ML, ExecuTorch, ONNX जैसे ML फ्रेमवर्क और हार्डवेयर-समर्थित एक्सेलेरेटर के माध्यम से AI मॉडल को स्थानीय रूप से निष्पादित करते हैं। यह रिपॉजिटरी ऐसी प्रणालियों को समझने और सुरक्षित करने के लिए आवश्यक सुरक्षा अनुसंधान को ट्रैक करती है, क्योंकि ऑन-डिवाइस मॉडल का स्थानीय भंडारण नए सुरक्षा जोखिम पैदा करता है।

Overview of a Mobile On-Device AI system

Overview of a Mobile On-Device AI system

सामग्री

रीडिंग रोडमैप

MoAI सुरक्षा में नए हैं? यहाँ से शुरू करें:

  1. पारिस्थितिकी तंत्र को समझें। Android/iOS ऐप्स में डीप लर्निंग ऐप्स और ऑन-डिवाइस मॉडल पर अनुभवजन्य अध्ययन पढ़ें।
  2. मुख्य जोखिम सीखें। मॉडल निष्कर्षण और मॉडल सुरक्षा पेपर का अध्ययन करें, क्योंकि स्थानीय मॉडल निवास MoAI सिस्टम में केंद्रीय सुरक्षा बदलाव है।
  3. हमले की सतहों को समझें। अध्ययन करें कि MoAI हमले इनपुट इंटरफेस, मॉडल आर्टिफैक्ट्स, रनटाइम निष्पादन और हार्डवेयर-समर्थित वातावरण में कैसे उत्पन्न होते हैं।
  4. सुरक्षा उपायों को सतहों से जोड़ें। जांचें कि MoAI सुरक्षा उपाय इन सतहों को पूर्व-तैनाती, रनटाइम निष्पादन और पोस्ट-तैनाती चरणों में कैसे सुरक्षित करते हैं।
  5. आगे देखें। ऑन-डिवाइस प्रशिक्षण, ऑन-डिवाइस GenAI और एजेंटिक MoAI सिस्टम में नई सुरक्षा चुनौतियों का अन्वेषण करें।
A minimal first-week reading path for newcomers to MOAI security.


•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps


•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps


•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning


•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

एक नज़र में वर्गीकरण

MoAI सुरक्षा स्तंभयह क्या सुरक्षित करता हैप्रतिनिधि हमलेप्रतिनिधि सुरक्षा उपाय
उपयोगकर्ता-नियंत्रित इनपुट अखंडताउपयोगकर्ता इनपुट की एंड-टू-एंड अखंडता, मोबाइल डेटा अधिग्रहण से मॉडल-इनपुट हैंडऑफ तकएडवर्सेरियल हमले, बैकडोर हमले, ऊर्जा-विलंबता हमले-
डिवाइस-निवासी मॉडल सुरक्षातैनात मॉडल आर्टिफैक्ट्स और सभी पोस्ट-तैनाती रूप जिनमें मॉडल डिवाइस पर संग्रहीत, लोड, रूपांतरित या भौतिक रूप से प्रस्तुत किए जाते हैंएडवर्सेरियल हमले, बैकडोर हमले, एडवर्सेरियल वेट हमले, मॉडल चोरी के हमले, ऊर्जा-विलंबता हमलेमॉडल अस्पष्टीकरण, मॉडल प्राधिकरण, TEE, मॉडल वॉटरमार्किंग
डिवाइस-मूल वातावरण संयममोबाइल OS, AI रनटाइम, मेमोरी सबसिस्टम और हार्डवेयर-समर्थित निष्पादन वातावरण में संवेदनशील अनुमान गणना और रनटाइम अवस्थाएँमॉडल चोरी के हमले, ऊर्जा-विलंबता हमलेमॉडल अस्पष्टीकरण, TEE

क्रॉस-पिलर सुरक्षा विश्लेषण

Cross-pillar security analysis of attacks and open problems in MoAI systems. Cross-pillar security analysis of defenses and open problems in MoAI systems.

MoAI सिस्टम पर हमले

मॉडल समानता का शोषण

ग्रेडिएंट पुनर्निर्माण

प्रीप्रोसेसिंग हेरफेर

पेलोड इंजेक्शन

मॉडल क्वांटाइज़ेशन

इमेज स्टेग्नोग्राफी

स्टैटिक विश्लेषण

डायनामिक विश्लेषण

साइड चैनल

MoAI सिस्टम के लिए सुरक्षा उपाय

सॉफ्टवेयर-स्तरीय छुपाव

हार्डवेयर-स्तरीय छुपाव

मोनोलिथिक निष्पादन

विभाजित निष्पादन

अस्पष्टीकृत ऑफलोडिंग

खुली समस्याएँ

निम्नलिखित खुली समस्याएँ हमारे SoK में पहचाने गए मुख्य शोध अंतरालों का सारांश प्रस्तुत करती हैं। हम यहाँ विवरणों को उच्च-स्तरीय रखते हैं ताकि इस रिपॉजिटरी का उपयोग करने वाले पाठकों को सुविधा हो। अधिक तकनीकी चर्चाएँ पेपर में पाई जा सकती हैं।

  1. हमले की तैनाती की व्यावहारिकता।
    ऑन-डिवाइस मॉडलों के विरुद्ध प्रतिकूल हमले तैनाती के बाद साकार करना कठिन बने रहते हैं क्योंकि उन्हें अक्सर मॉडल इनपुट पर नियंत्रण, प्रतिकूल व्यवधानों का सम्मिलन, या प्रीप्रोसेसिंग कोड को संशोधित करने के लिए ऐप रीपैकेजिंग की आवश्यकता होती है। ये चरण वास्तविक अंत-उपयोगकर्ता तैनाती में अव्यावहारिक या पहचाने जाने योग्य हो सकते हैं।

  2. गुप्त मॉडल संशोधन।
    बैकडोर हमलों को मानक प्रशिक्षण-समय विषाक्तता से परे तैनाती-पश्चात प्रवेश बिंदु खोजने की आवश्यकता होती है क्योंकि ऑन-डिवाइस मॉडल आमतौर पर केवल-पठनीय और केवल-इन्फ्रेंस होते हैं। मुख्य चुनौती मॉडल कलाकृतियों में अवलोकन योग्य परिवर्तन उत्पन्न किए बिना छिपे हुए दुर्भावनापूर्ण व्यवहार को प्रस्तुत करना है।

  3. सटीक वेट स्थानीयकरण।
    प्रतिकूल वेट हमले पैरामीटर-स्तरीय अखंडता जोखिम को उजागर करते हैं, लेकिन व्यावहारिक तैनाती बड़े पैरामीटर खोज स्थान में व्यवहार-महत्वपूर्ण वेट का पता लगाने पर निर्भर करती है। यह कठिन है क्योंकि हमलावरों के पास अक्सर ग्रेडिएंट मार्गदर्शन का अभाव होता है और उन्हें केवल चयनित पैरामीटर संशोधित करते हुए लाभकारी उपयोगिता को संरक्षित करने की आवश्यकता होती है।

  4. विश्वसनीय मॉडल निष्कर्षण।
    स्थानीय मॉडल भंडारण मॉडल चोरी को सीधा नहीं बनाता। व्यावहारिक निष्कर्षण अभी भी अनुकूलित एन्क्रिप्शन एल्गोरिदम, गैर-मानक AI फ्रेमवर्क और रनटाइम-विशिष्ट लोडिंग व्यवहार की उपस्थिति में विश्वसनीय मॉडल पहचान, डिक्रिप्शन और पुनर्निर्माण पर निर्भर करता है।

  5. हार्डवेयर विषमता।
    ऊर्जा-विलंबता हमले इस बात पर निर्भर करते हैं कि विषाक्त सक्रियण पैटर्न डिवाइस-विशिष्ट निष्पादन व्यवहार के साथ कैसे परस्पर क्रिया करते हैं। वे स्पार्सिटी-संवेदनशील एक्सेलेरेटर पर विलंबता और ऊर्जा खपत को बढ़ा सकते हैं, लेकिन स्पार्सिटी-निर्भर निष्पादन के बिना हार्डवेयर पर स्थानांतरित होने में विफल हो सकते हैं।

  1. निष्पादन योग्य समतुल्यता।
    मॉडल अस्पष्टीकरण को अधिकृत इन्फ्रेंस के दौरान मूल भविष्यवाणी फ़ंक्शन को संरक्षित करने की आवश्यकता होती है। यह निष्पादन योग्य समतुल्यता पुनर्प्राप्त करने योग्य रनटाइम अवस्थाओं, रूपांतरित वेट, ऑपरेटर शब्दार्थ, या संरचनात्मक निशानों को उजागर कर सकती है जो अर्थगत, संरचनात्मक, या पैरामीटर पुनर्प्राप्ति को सक्षम बनाती हैं।

  2. क्लाइंट-साइड प्रवर्तन।
    मॉडल प्राधिकरण सही इन्फ्रेंस को क्रेडेंशियल्स, अखंडता जांच और पैक्ड-वेट पुनर्प्राप्ति से बांधता है। हालाँकि, इन जांचों को मोबाइल स्टैक के भीतर निष्पादित करने की आवश्यकता होती है, जिससे प्रवर्तन क्लाइंट-साइड कोड पर निर्भर हो जाता है जिसे तैनाती के बाद रिवर्स इंजीनियर, रीपैकेज, हुक या इंस्ट्रूमेंट किया जा सकता है।

  3. TEE तैनाती की व्यवहार्यता।
    TEE रक्षाओं को मॉडल प्रारूपों, AI फ्रेमवर्क, ऑपरेटर लाइब्रेरी, डेलीगेट्स, एक्सेलेरेटर और CPU/GPU/NPU अलगाव इंटरफेस में समन्वित समर्थन की आवश्यकता होती है। वर्तमान मोबाइल पारिस्थितिकी तंत्रों में अभी भी व्यापक रूप से अपनाए गए, डेवलपर-पारदर्शी TEE-समर्थित इन्फ्रेंस स्टैक का अभाव है।

  4. वॉटरमार्क मजबूती।
    मॉडल वॉटरमार्किंग तैनाती-पश्चात स्वामित्व सत्यापन को सक्षम बनाता है, लेकिन चुराए गए मॉडल फ्रेमवर्क रूपांतरण, एन्क्रिप्शन, या ऐप-स्तरीय इनपुट-आउटपुट मध्यस्थता के माध्यम से पुनः तैनात किए जा सकते हैं। ये परिवर्तन लाभकारी इन्फ्रेंस को संरक्षित कर सकते हैं जबकि सत्यापन के लिए उपयोग किए जाने वाले ट्रिगर प्रतिक्रियाओं, आत्मविश्वास पैटर्न, या आउटपुट शब्दार्थ को बाधित कर सकते हैं।

उभरती दिशाएँ

ऊपर की नौ खुली समस्याओं के अलावा, हमारा SoK तीन उभरती दिशाओं पर प्रकाश डालता है जहाँ MOAI सुरक्षा के आगे विस्तारित होने की संभावना है। ये दिशाएँ MoAI सुरक्षा अनुसंधान को व्यवस्थित मूल्यांकन की ओर ले जाती हैं जबकि इसके दायरे को ऑन-डिवाइस प्रशिक्षण और एजेंटिक MoAI प्रणालियों द्वारा प्रस्तुत उभरती हमले की सतहों तक विस्तारित करती हैं। हम उन्हें यहाँ उच्च स्तर पर सारांशित करते हैं। साथी पेपर अधिक विस्तृत प्रेरणा, खतरे की सतहें और शोध चुनौतियाँ प्रदान करता है।

मौजूदा MoAI सुरक्षा अध्ययन स्व-एकत्रित डेटासेट, विधि-विशिष्ट मेट्रिक्स और विभिन्न खतरे मॉडल का उपयोग करके हमलों और रक्षाओं का मूल्यांकन करते हैं, और आमतौर पर एकल प्लेटफ़ॉर्म (Android या iOS) तक सीमित होते हैं। यह मूल्यांकन परिणामों की तुलना को कठिन बनाता है और प्लेटफ़ॉर्म-विशिष्ट अंतरों को अनदेखा करता है। भविष्य के कार्य को एकीकृत बेंचमार्क स्थापित करने चाहिए जो डेटासेट, मेट्रिक्स और खतरे मॉडल को मानकीकृत करें और MoAI सुरक्षा के व्यवस्थित, तुलनीय और प्रतिलिपि योग्य मूल्यांकन के लिए क्रॉस-प्लेटफ़ॉर्म मूल्यांकन का समर्थन करें।

वर्तमान MoAI सुरक्षा अनुसंधान मुख्य रूप से तैनात मॉडलों पर केंद्रित है जो केवल-पठनीय और केवल-इन्फ्रेंस होते हैं। ऑन-डिवाइस प्रशिक्षण इस धारणा को बदल देता है क्योंकि यह मॉडलों को स्थानीय रूप से अद्यतन करने की अनुमति देता है, जो प्रशिक्षण प्रक्रिया के दौरान ग्रेडिएंट्स, पैरामीटर अद्यतन और उपयोगकर्ता डेटा को उजागर करता है। यह स्थानीय फाइन-ट्यूनिंग, अद्यतन अखंडता, प्रशिक्षण-डेटा जोखिम, वैयक्तिकरण विषाक्तता और अंत-उपयोगकर्ता उपकरणों पर प्रशिक्षण-समय अवस्थाओं के लिए रक्षाओं के आसपास नए प्रश्न खोलता है।

MoAI प्रणालियाँ निष्क्रिय स्थानीय इन्फ्रेंस से एजेंटिक वर्कफ़्लो की ओर विकसित हो रही हैं जो मॉडलों को सेंसर, निजी उपयोगकर्ता डेटा, ऐप संदर्भों, OS सेवाओं और क्रॉस-ऐप इंटरफेस से जोड़ती हैं। यह सुरक्षा फोकस को केवल मॉडल कलाकृतियों की सुरक्षा से संदर्भ-से-क्रिया श्रृंखलाओं के शासन की ओर स्थानांतरित करता है। भविष्य के कार्य को मोबाइल संदर्भ के लिए उत्पत्ति, अविश्वसनीय पर्यावरणीय सामग्री से विश्वसनीय उपयोगकर्ता इरादे का पृथक्करण, टूल और API उपयोग के लिए कार्य-स्कोप्ड अनुमतियाँ, संवेदनशील क्रियाओं के लिए पुष्टि और रोलबैक, और एजेंट योजनाओं, मेमोरी और क्रियाओं का ऑडिटिंग का अध्ययन करना चाहिए।

और पढ़ें

श्रेणियाँ

एंड्रॉइड सुरक्षाआईओएस सुरक्षारिवर्स इंजीनियरिंगस्टेग्नोग्राफीमोबाइल सुरक्षाहार्डवेयर सुरक्षामशीन लर्निंगपेपर और शोधलर्निंग और शिक्षाचयनित संसाधनAI सुरक्षाप्रतिकूल हमला