Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Les systèmes d'IA mobiles sur appareil exécutent des modèles d'IA localement via des frameworks de ML tels que LiteRT/TFLite, Core ML, ExecuTorch, ONNX, et des accélérateurs matériels. Ce dépôt suit la recherche en sécurité nécessaire pour comprendre et protéger ces systèmes, car le stockage local des modèles sur appareil introduit de nouveaux risques de sécurité.

Vue d'ensemble d'un système d'IA mobile sur appareil

Contenu

• Feuille de route de lecture
• Taxonomie en un coup d'œil
• Analyse de sécurité transversale
• Attaques sur les systèmes MoAI
  • Attaques adversariales
    • Exploitation de la similarité des modèles
    • Reconstruction de gradients
    • Manipulation du prétraitement
  • Attaques par porte dérobée
    • Injection de charge utile
    • Quantification de modèles
    • Stéganographie d'images
  • Attaques adversariales sur les poids
  • Attaques de vol de modèles
    • Analyse statique
    • Analyse dynamique
    • Canal auxiliaire
  • Attaques énergie-latence
• Défenses pour les systèmes MoAI
  • Obfuscation de modèles
    • Dissimulation au niveau logiciel
    • Dissimulation au niveau matériel
  • Autorisation de modèles
  • Environnements d'exécution de confiance
    • Exécution monolithique
    • Exécution partitionnée
    • Délégation obfusquée
  • Filigrane de modèles
• Problèmes ouverts
• Directions émergentes

Feuille de route de lecture

Nouveau dans la sécurité MoAI ? Commencez ici :

1. Comprendre l'écosystème. Lisez les études empiriques sur les applications d'apprentissage profond et les modèles sur appareil dans les applications Android/iOS.
2. Apprendre le risque fondamental. Étudiez les articles sur l'extraction de modèles et la protection de modèles, car la résidence locale des modèles est le changement de sécurité central dans les systèmes MoAI.
3. Comprendre les surfaces d'attaque. Étudiez comment les attaques MoAI surviennent à travers les interfaces d'entrée, les artefacts de modèles, l'exécution à l'exécution et les environnements adossés au matériel.
4. Relier les défenses aux surfaces. Examinez comment les défenses MoAI protègent ces surfaces à travers les phases de pré-déploiement, d'exécution à l'exécution et de post-déploiement.
5. Regarder vers l'avenir. Explorez les nouveaux défis de sécurité dans l'entraînement sur appareil, la GenAI sur appareil et les systèmes MoAI agentiques.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomie en un coup d'œil

Pilier de sécurité MoAI	Ce qu'il protège	Attaques représentatives	Défenses représentatives
Intégrité des entrées régies par l'utilisateur	L'intégrité de bout en bout des entrées utilisateur, de l'acquisition des données mobiles au transfert vers l'entrée du modèle	Attaques adversariales, Attaques par porte dérobée, Attaques énergie-latence	-
Sécurité des modèles résidant sur l'appareil	Les artefacts de modèles déployés et toutes les formes post-déploiement dans lesquelles les modèles sont stockés, chargés, transformés ou matérialisés sur les appareils	Attaques adversariales, Attaques par porte dérobée, Attaques adversariales sur les poids, Attaques de vol de modèles, Attaques énergie-latence	Obfuscation de modèles, Autorisation de modèles, TEE, Filigrane de modèles
Confinement de l'environnement natif de l'appareil	Le calcul d'inférence sensible et les états d'exécution à travers l'OS mobile, l'exécution de l'IA, le sous-système mémoire et les environnements d'exécution adossés au matériel	Attaques de vol de modèles, Attaques énergie-latence	Obfuscation de modèles, TEE