Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Les systèmes d'IA mobiles sur appareil exécutent des modèles d'IA localement via des frameworks de ML tels que LiteRT/TFLite, Core ML, ExecuTorch, ONNX, et des accélérateurs matériels. Ce dépôt suit la recherche en sécurité nécessaire pour comprendre et protéger ces systèmes, car le stockage local des modèles sur appareil introduit de nouveaux risques de sécurité.

Vue d'ensemble d'un système d'IA mobile sur appareil

Contenu

• Feuille de route de lecture
• Taxonomie en un coup d'œil
• Analyse de sécurité transversale
• Attaques sur les systèmes MoAI
  • Attaques adversariales
    • Exploitation de la similarité des modèles
    • Reconstruction de gradients
    • Manipulation du prétraitement
  • Attaques par porte dérobée
    • Injection de charge utile
    • Quantification de modèles
    • Stéganographie d'images
  • Attaques adversariales sur les poids
  • Attaques de vol de modèles
    • Analyse statique
    • Analyse dynamique
    • Canal auxiliaire
  • Attaques énergie-latence
• Défenses pour les systèmes MoAI
  • Obfuscation de modèles
    • Dissimulation au niveau logiciel
    • Dissimulation au niveau matériel
  • Autorisation de modèles
  • Environnements d'exécution de confiance
    • Exécution monolithique
    • Exécution partitionnée
    • Délégation obfusquée
  • Filigrane de modèles
• Problèmes ouverts
• Directions émergentes

Feuille de route de lecture

Nouveau dans la sécurité MoAI ? Commencez ici :

1. Comprendre l'écosystème. Lisez les études empiriques sur les applications d'apprentissage profond et les modèles sur appareil dans les applications Android/iOS.
2. Apprendre le risque fondamental. Étudiez les articles sur l'extraction de modèles et la protection de modèles, car la résidence locale des modèles est le changement de sécurité central dans les systèmes MoAI.
3. Comprendre les surfaces d'attaque. Étudiez comment les attaques MoAI surviennent à travers les interfaces d'entrée, les artefacts de modèles, l'exécution à l'exécution et les environnements adossés au matériel.
4. Relier les défenses aux surfaces. Examinez comment les défenses MoAI protègent ces surfaces à travers les phases de pré-déploiement, d'exécution à l'exécution et de post-déploiement.
5. Regarder vers l'avenir. Explorez les nouveaux défis de sécurité dans l'entraînement sur appareil, la GenAI sur appareil et les systèmes MoAI agentiques.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomie en un coup d'œil

Analyse de sécurité transversale

Attaques sur les systèmes MoAI

Exploitation de la similarité des modèles

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Reconstruction de gradients

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Manipulation du prétraitement

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Injection de charge utile

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
  _{Automated Software Engineering (ASEJ 2026)}

Quantification de modèles

• Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Stéganographie d'images

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Analyse statique

• A First Look at Deep Learning Apps on Smartphones [Code]
  _{The World Wide Web Conference (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Analyse dynamique

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Canal auxiliaire

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Défenses pour les systèmes MoAI

Dissimulation au niveau logiciel

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Dissimulation au niveau matériel

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
  _{International Conference on Machine Learning (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Exécution monolithique

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv preprint (arXiv 2026)}

Exécution partitionnée

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep : Framework d'inférence d'apprentissage profond sécurisé et performant sur appareil pour appareils mobiles et IoT
  _{Conférence internationale sur la conception et la mise en œuvre de l'Internet des objets (IoTDI 2021)}

• ShadowNet : Système d'inférence de modèles sécurisé et efficace sur appareil pour réseaux de neurones convolutifs [Code]
  _{Symposium IEEE sur la sécurité et la confidentialité (S&P 2023)}

• MirrorNet : Framework compatible TEE pour l'inférence sécurisée de DNN sur appareil
  _{Conférence internationale IEEE/ACM sur la conception assistée par ordinateur (ICCAD 2023)}

• TSQP : Protection de l'inférence en temps réel pour les réseaux de neurones quantifiés sur appareils périphériques [Code]
  _{Symposium IEEE sur la sécurité et la confidentialité (S&P 2025)}

• TEESlice : Protection des modèles de réseaux de neurones sensibles dans les environnements d'exécution de confiance lorsque les attaquants disposent de modèles pré-entraînés
  _{Transactions ACM sur le génie logiciel et la méthodologie (TOSEM 2025)}

• TensorShield : Protection de l'inférence sur appareil en blindant les tenseurs DNN critiques avec TEE [Code]
  _{Conférence ACM SIGSAC sur la sécurité informatique et des communications (CCS 2025)}

Déchargement obscurci

• GroupCover : Framework d'inférence sécurisé, efficace et évolutif pour la protection de modèles sur appareil basé sur les TEE [Code]
  _{Conférence internationale sur l'apprentissage automatique (ICML 2024)}

• Game of Arrows : Sur l'(in)sécurité de l'obfuscation des poids pour les algorithmes de partitionnement de LLM blindés par TEE sur appareil [Code]
  _{Symposium de sécurité USENIX (USENIX Security 2025)}

• MirageNet : Protection de modèles sur appareil sécurisée, efficace et évolutive dans un système hétérogène TEE et GPU
  _{Prépublication arXiv (arXiv 2026)}

• THEMIS : Vers une protection pratique de la propriété intellectuelle pour les modèles d'apprentissage profond sur appareil après déploiement [Code]
  _{Symposium de sécurité USENIX (USENIX Security 2025)}

Problèmes ouverts

Les problèmes ouverts suivants résument les principales lacunes de recherche identifiées dans notre SoK. Nous gardons ici les descriptions de haut niveau pour les lecteurs utilisant ce dépôt. Des discussions plus techniques se trouvent dans l'article.

1. Caractère pratique du déploiement des attaques.
   Les attaques adversariales contre les modèles sur appareil restent difficiles à réaliser après le déploiement, car elles nécessitent souvent le contrôle des entrées du modèle, l'insertion de perturbations adversariales ou le reconditionnement de l'application pour modifier le code de prétraitement. Ces étapes peuvent être irréalisables ou détectables dans les déploiements réels chez les utilisateurs finaux.

2. Modification furtive du modèle.
   Les attaques par porte dérobée doivent trouver des points d'entrée après déploiement au-delà de l'empoisonnement standard à l'entraînement, car les modèles sur appareil sont généralement en lecture seule et réservés à l'inférence. Le défi clé consiste à introduire un comportement malveillant caché sans produire de changements observables dans les artefacts du modèle.

3. Localisation précise des poids.
   Les attaques adversariales sur les poids exposent un risque d'intégrité au niveau des paramètres, mais le déploiement pratique dépend de la localisation des poids critiques pour le comportement dans le vaste espace de recherche des paramètres. C'est difficile car les attaquants manquent souvent de guidage par gradient et doivent préserver l'utilité bénigne tout en ne modifiant que des paramètres sélectionnés.

4. Extraction fiable du modèle.
   Le stockage local du modèle ne rend pas le vol de modèle simple. L'extraction pratique dépend toujours d'une identification, d'un déchiffrement et d'une reconstruction fiables du modèle en présence d'algorithmes de chiffrement personnalisés, de frameworks d'IA non standard et de comportements de chargement spécifiques à l'exécution.

5. Hétérogénéité matérielle.
   Les attaques énergie-latence dépendent de la manière dont les motifs d'activation empoisonnés interagissent avec le comportement d'exécution spécifique à l'appareil. Elles peuvent amplifier la latence et la consommation d'énergie sur les accélérateurs sensibles à la parcimonie, mais échouer à se transférer sur du matériel sans exécution dépendante de la parcimonie.

6. Équivalence exécutable.
   L'obfuscation de modèle doit encore préserver la fonction de prédiction d'origine lors de l'inférence autorisée. Cette équivalence exécutable peut exposer des états d'exécution récupérables, des poids transformés, la sémantique des opérateurs ou des traces structurelles qui permettent la récupération sémantique, structurelle ou des paramètres.

7. Application côté client.
   L'autorisation de modèle lie l'inférence correcte à des identifiants, des contrôles d'intégrité et la récupération des poids empaquetés. Cependant, ces contrôles doivent s'exécuter dans la pile mobile, rendant l'application dépendante d'un code côté client qui peut être rétro-ingénié, reconditionné, intercepté ou instrumenté après le déploiement.

8. Faisabilité du déploiement TEE.
   Les défenses TEE exigent un support coordonné entre les formats de modèles, les frameworks d'IA, les bibliothèques d'opérateurs, les délégués, les accélérateurs et les interfaces d'isolation CPU/GPU/NPU. Les écosystèmes mobiles actuels manquent encore de piles d'inférence adossées aux TEE largement adoptées et transparentes pour les développeurs.

9. Robustesse du tatouage.
   Le tatouage de modèle permet la vérification de propriété après déploiement, mais les modèles volés peuvent être redéployés via la conversion de framework, le chiffrement ou la médiation entrée-sortie au niveau de l'application. Ces transformations peuvent préserver l'inférence bénigne tout en perturbant les réponses aux déclencheurs, les schémas de confiance ou la sémantique de sortie utilisés pour la vérification.

Directions émergentes

Au-delà des neuf problèmes ouverts ci-dessus, notre SoK met en évidence trois directions émergentes dans lesquelles la sécurité MoAI est susceptible de s'étendre ensuite. Ces directions font évoluer la recherche sur la sécurité MoAI vers une évaluation systématique tout en étendant sa portée aux surfaces d'attaque émergentes introduites par l'entraînement sur appareil et les systèmes MoAI agentiques. Nous les résumons ici à un niveau élevé. L'article compagnon fournit une motivation, des surfaces de menace et des défis de recherche plus détaillés.

Les études existantes sur la sécurité MoAI évaluent les attaques et les défenses à l'aide d'ensembles de données auto-collectés, de métriques spécifiques à la méthode et de différents modèles de menace, et se limitent généralement à une seule plateforme (Android ou iOS). Cela rend les résultats d'évaluation difficiles à comparer et néglige les différences spécifiques aux plateformes. Les travaux futurs devraient établir des référentiels unifiés qui normalisent les ensembles de données, les métriques et les modèles de menace et soutiennent l'évaluation multiplateforme pour une évaluation systématique, comparable et reproductible de la sécurité MoAI.

La recherche actuelle sur la sécurité MoAI se concentre principalement sur les modèles déployés en lecture seule et réservés à l'inférence. L'entraînement sur appareil modifie cette hypothèse en permettant la mise à jour locale des modèles, ce qui expose les gradients, les mises à jour de paramètres et les données utilisateur pendant le processus d'entraînement. Cela ouvre de nouvelles questions autour du réglage fin local, de l'intégrité des mises à jour, de l'exposition des données d'entraînement, de l'empoisonnement de la personnalisation et des défenses pour les états d'entraînement sur les appareils des utilisateurs finaux.

Les systèmes MoAI évoluent de l'inférence locale passive vers des flux de travail agentiques qui connectent les modèles aux capteurs, aux données utilisateur privées, aux contextes d'application, aux services OS et aux interfaces inter-applications. Cela déplace l'attention de la sécurité de la seule protection des artefacts de modèle vers la gouvernance des chaînes contexte-action. Les travaux futurs devraient étudier la provenance du contexte mobile, la séparation de l'intention utilisateur de confiance du contenu environnemental non fiable, les autorisations limitées aux tâches pour l'utilisation d'outils et d'API, la confirmation et le retour en arrière pour les actions sensibles, ainsi que l'audit des plans, de la mémoire et des actions de l'agent.