Awesome Mobile On-Device AI Security

SoK : Paysage des attaques et défenses des systèmes d'IA mobiles sur appareil

Yujin Huang, Xin Zheng, Xingliang Yuan, Kwok-Yan Lam

Les systèmes d'IA mobiles sur appareil exécutent des modèles d'IA localement via des frameworks ML tels que LiteRT/TFLite, Core ML, ExecuTorch, ONNX, et des accélérateurs matériels. Ce dépôt suit la recherche en sécurité nécessaire pour comprendre et protéger de tels systèmes, car le stockage local des modèles sur appareil introduit de nouveaux risques de sécurité.

Vue d'ensemble d'un système d'IA mobile sur appareil

Contenu

• Feuille de route de lecture
• Taxonomie en un coup d'œil
• Analyse de sécurité transversale
• Attaques sur les systèmes MoAI
  • Attaques adversariales
    • Exploitation de similarité de modèle
    • Reconstruction de gradient
    • Manipulation du prétraitement
  • Attaques par porte dérobée
    • Injection de charge utile
    • Quantification de modèle
    • Stéganographie d'image
  • Attaques adversariales de poids
  • Attaques de vol de modèle
    • Analyse statique
    • Analyse dynamique
    • Canal auxiliaire
  • Attaques énergie-latence
• Défenses pour les systèmes MoAI
  • Obsfuscation de modèle
    • Dissimulation au niveau logiciel
    • Dissimulation au niveau matériel
  • Autorisation de modèle
  • Environnements d'exécution de confiance
    • Exécution monolithique
    • Exécution partitionnée
    • Déchargement obfusqué
  • Filigrane de modèle
• Problèmes ouverts
• Directions émergentes

Feuille de route de lecture

Nouveau dans la sécurité MoAI ? Commencez ici :

1. Comprendre l'écosystème. Lisez des études empiriques sur les applications d'apprentissage profond et les modèles sur appareil dans les applications Android/iOS.
2. Apprendre le risque central. Étudiez les articles sur l'extraction de modèles et la protection de modèles, car la résidence locale du modèle est le changement de sécurité central dans les systèmes MoAI.
3. Comprendre les surfaces d'attaque. Étudiez comment les attaques MoAI surviennent à travers les interfaces d'entrée, les artefacts de modèle, l'exécution runtime et les environnements matériels.
4. Relier les défenses aux surfaces. Examinez comment les défenses MoAI protègent ces surfaces à travers les phases de pré-déploiement, d'exécution runtime et de post-déploiement.
5. Regarder vers l'avant. Explorez les nouveaux défis de sécurité dans l'entraînement sur appareil, la GenAI sur appareil et les systèmes MoAI agentiques.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomie en un coup d'œil

Analyse de sécurité transversale

Attaques sur les systèmes MoAI

Exploitation de similarité de modèle

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Reconstruction de gradient

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Manipulation du prétraitement

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Injection de charge utile

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
  _{Automated Software Engineering (ASEJ 2026)}

Quantification de modèle

• Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Stéganographie d'image

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Analyse statique

• A First Look at Deep Learning Apps on Smartphones [Code]
  _{The World Wide Web Conference (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Analyse dynamique

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Canal auxiliaire

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Défenses pour les systèmes MoAI

Dissimulation au niveau logiciel

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Dissimulation au niveau matériel

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
  _{International Conference on Machine Learning (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Exécution monolithique

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv preprint (arXiv 2026)}

Exécution partitionnée

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep : Cadre d'inférence d'apprentissage profond sécurisé et performant sur appareil pour les appareils mobiles et IoT
  _{Conférence internationale sur la conception et la mise en œuvre de l'Internet des objets (IoTDI 2021)}

• ShadowNet : Un système d'inférence de modèle sécurisé et efficace sur appareil pour les réseaux de neurones convolutionnels [Code]
  _{Symposium IEEE sur la sécurité et la vie privée (S&P 2023)}

• MirrorNet : Un cadre compatible TEE pour une inférence DNN sécurisée sur appareil
  _{Conférence internationale IEEE/ACM sur la conception assistée par ordinateur (ICCAD 2023)}

• TSQP : Protection de l'inférence en temps réel pour les réseaux de neurones quantifiés sur les appareils de périphérie [Code]
  _{Symposium IEEE sur la sécurité et la vie privée (S&P 2025)}

• TEESlice : Protection des modèles de réseaux de neurones sensibles dans les environnements d'exécution de confiance lorsque les attaquants disposent de modèles pré-entraînés
  _{Transactions ACM sur le génie logiciel et la méthodologie (TOSEM 2025)}

• TensorShield : Protection de l'inférence sur appareil en protégeant les tenseurs DNN critiques avec TEE []

Déchargement obscurci

• GroupCover : Un cadre d'inférence sécurisé, efficace et évolutif pour la protection des modèles sur appareil basé sur les TEE [Code]
  _{Conférence internationale sur l'apprentissage automatique (ICML 2024)}

• Game of Arrows : Sur l'(in-)sécurité de l'obfuscation des poids pour les algorithmes de partitionnement des LLM protégés par TEE sur appareil [Code]
  _{Symposium sur la sécurité USENIX (USENIX Security 2025)}

• MirageNet : Une protection de modèle sur appareil sécurisée, efficace et évolutive dans un système hétérogène TEE et GPU
  _{Prépublication arXiv (arXiv 2026)}

• THEMIS : Vers une protection pratique de la propriété intellectuelle pour les modèles d'apprentissage profond sur appareil post-déploiement [Code]
  _{Symposium sur la sécurité USENIX (USENIX Security 2025)}

Problèmes ouverts

Les problèmes ouverts suivants résument les principales lacunes de recherche identifiées dans notre SoK. Nous maintenons les descriptions ici à un niveau élevé pour les lecteurs utilisant ce dépôt. Des discussions plus techniques se trouvent dans l'article.

1. Pratique du déploiement d'attaques.
   Les attaques adversariales contre les modèles sur appareil restent difficiles à réaliser après le déploiement car elles nécessitent souvent le contrôle des entrées du modèle, l'insertion de perturbations adversariales, ou le reconditionnement de l'application pour modifier le code de prétraitement. Ces étapes peuvent être peu pratiques ou détectables dans des déploiements réels chez les utilisateurs finaux.

2. Modification furtive du modèle.
   Les attaques par porte dérobée doivent trouver des points d'entrée post-déploiement au-delà de l'empoisonnement standard en phase d'entraînement car les modèles sur appareil sont généralement en lecture seule et dédiés à l'inférence. Le défi clé est d'introduire un comportement malveillant caché sans produire de changements observables dans les artefacts du modèle.

3. Localisation précise des poids.
   Les attaques sur les poids adversariaux exposent un risque d'intégrité au niveau des paramètres, mais le déploiement pratique dépend de la localisation des poids critiques pour le comportement dans le vaste espace de recherche des paramètres. C'est difficile car les attaquants manquent souvent de guidage par gradient et doivent préserver l'utilité bénigne tout en modifiant uniquement des paramètres sélectionnés.

4. Extraction fiable du modèle.
   Le stockage local du modèle ne rend pas le vol de modèle simple. L'extraction pratique dépend encore de l'identification fiable du modèle, du déchiffrement et de la reconstruction en présence d'algorithmes de chiffrement personnalisés, de frameworks d'IA non standard et d'un comportement de chargement spécifique à l'exécution.

5. Hétérogénéité matérielle.
   Les attaques par énergie-latence dépendent de la façon dont les motifs d'activation empoisonnés interagissent avec le comportement d'exécution spécifique à l'appareil. Elles peuvent amplifier la latence et la consommation d'énergie sur les accélérateurs sensibles à la parcimonie, mais échouent à se transférer sur du matériel sans exécution dépendante de la parcimonie.

6. Équivalence exécutable.
   L'obfuscation de modèle doit encore préserver la fonction de prédiction originale lors de l'inférence autorisée. Cette équivalence exécutable peut exposer des états d'exécution récupérables, des poids transformés, des sémantiques d'opérateurs ou des traces structurelles qui permettent la récupération sémantique, structurelle ou des paramètres.

7. Application côté client.
   L'autorisation de modèle lie l'inférence correcte à des identifiants, des vérifications d'intégrité et la récupération des poids compressés. Cependant, ces vérifications doivent s'exécuter dans la pile mobile, rendant l'application dépendante d'un code côté client qui peut être rétro-conçu, reconditionné, accroché ou instrumenté après déploiement.

8. Faisabilité du déploiement TEE.
   Les défenses TEE nécessitent un support coordonné entre les formats de modèles, les frameworks d'IA, les bibliothèques d'opérateurs, les délégués, les accélérateurs et les interfaces d'isolation CPU/GPU/NPU. Les écosystèmes mobiles actuels manquent encore de piles d'inférence adossées à TEE largement adoptées et transparentes pour les développeurs.

9. Robustesse du tatouage.
   Le tatouage de modèle permet une vérification de propriété post-déploiement, mais les modèles volés peuvent être redéployés via la conversion de framework, le chiffrement ou la médiation entrée-sortie au niveau de l'application. Ces transformations peuvent préserver l'inférence bénigne tout en perturbant les réponses aux déclencheurs, les motifs de confiance ou la sémantique de sortie utilisés pour la vérification.

Directions émergentes

Au-delà des neuf problèmes ouverts ci-dessus, notre SoK met en évidence trois directions émergentes dans lesquelles la sécurité MOAI est susceptible de s'étendre. Ces directions dépassent les modèles statiques et dédiés à l'inférence sur appareil pour aller vers des systèmes MoAI adaptatifs, génératifs et orientés action. Nous les résumons ici à un niveau élevé. L'article compagnon fournit une motivation plus détaillée, les surfaces de menace et les défis de recherche.

La recherche actuelle en sécurité MoAI se concentre principalement sur les modèles déployés en lecture seule et dédiés à l'inférence. L'entraînement sur appareil change cette hypothèse en permettant de mettre à jour les modèles localement, ce qui expose les gradients, les mises à jour de paramètres et les données utilisateur pendant le processus d'entraînement. Cela ouvre de nouvelles questions autour du réglage fin local, de l'intégrité des mises à jour, de l'exposition des données d'entraînement, de l'empoisonnement de la personnalisation et des défenses pour les états en phase d'entraînement sur les appareils des utilisateurs finaux.

Les études existantes en sécurité MoAI sont encore largement centrées sur des tâches basées sur la vision telles que la classification d'images. Alors que les LLM et les modèles génératifs arrivent sur les smartphones, la sécurité MoAI doit s'étendre aux systèmes pilotés par requêtes et générateurs de contenu. Les défis importants incluent l'injection de requêtes, les jailbreaks, la divulgation non intentionnelle d'informations et la fuite de contexte local pour les LLM sur appareil.

Les systèmes MoAI évoluent de l'inférence locale passive vers des workflows agentiques qui connectent les modèles avec les capteurs, les données privées des utilisateurs, les contextes d'application, les services OS et les interfaces inter-applications. Cela déplace l'attention de la sécurité de la simple protection des artefacts du modèle vers la gouvernance des chaînes contexte-action. Les travaux futurs devraient étudier la provenance du contexte mobile, la séparation de l'intention utilisateur de confiance du contenu environnemental non fiable, les permissions limitées aux tâches pour l'utilisation d'outils et d'API, la confirmation et le retour en arrière pour les actions sensibles, et l'audit des plans, de la mémoire et des actions des agents.

@misc{huang2026moaisecurity, title = {SoK: Attack and Defense Landscape of Mobile On-device AI Systems}, author = {Huang, Yujin and Zheng, Xin and Yuan, Xingliang and Lam, Kwok-Yan}, year = {2026}, note = {Companion resources: https://github.com/Jinxhy/Awesome-MoAI-Security}, url = {https://github.com/Jinxhy/Awesome-MoAI-Security} }