Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Mobile On-Device-AI-Systeme führen KI-Modelle lokal über ML-Frameworks wie LiteRT/TFLite, Core ML, ExecuTorch, ONNX und hardwaregestützte Beschleuniger aus. Dieses Repository verfolgt die Sicherheitsforschung, die zum Verständnis und Schutz solcher Systeme erforderlich ist, da die lokale Speicherung von On-Device-Modellen neue Sicherheitsrisiken mit sich bringt.

Überblick über ein Mobile On-Device-AI-System

Inhalt

• Lese-Roadmap
• Taxonomie auf einen Blick
• Pillar-übergreifende Sicherheitsanalyse
• Angriffe auf MoAI-Systeme
  • Adversarial Attacks
    • Ausnutzung der Modellähnlichkeit
    • Gradienten-Rekonstruktion
    • Manipulation der Vorverarbeitung
  • Backdoor-Angriffe
    • Payload-Injektion
    • Modellquantisierung
    • Bild-Steganografie
  • Adversarial Weight Attacks
  • Modell-Diebstahl-Angriffe
    • Statische Analyse
    • Dynamische Analyse
    • Seitenkanal
  • Energie-Latenz-Angriffe
• Verteidigungsmaßnahmen für MoAI-Systeme
  • Modell-Verschleierung
    • Verschleierung auf Software-Ebene
    • Verschleierung auf Hardware-Ebene
  • Modell-Autorisierung
  • Trusted Execution Environments
    • Monolithische Ausführung
    • Partitionierte Ausführung
    • Verschleiertes Offloading
  • Modell-Wasserzeichen
• Offene Probleme
• Aufkommende Richtungen

Lese-Roadmap

Neu in der MoAI-Sicherheit? Beginnen Sie hier:

1. Verstehen Sie das Ökosystem. Lesen Sie empirische Studien über Deep-Learning-Apps und On-Device-Modelle in Android-/iOS-Apps.
2. Lernen Sie das Kernrisiko kennen. Studieren Sie Arbeiten zur Modellextraktion und zum Modellschutz, da die lokale Modellspeicherung die zentrale Sicherheitsverschiebung in MoAI-Systemen darstellt.
3. Verstehen Sie die Angriffsflächen. Untersuchen Sie, wie MoAI-Angriffe über Eingabeschnittstellen, Modellartefakte, Laufzeitausführung und hardwaregestützte Umgebungen entstehen.
4. Verknüpfen Sie Verteidigungsmaßnahmen mit den Angriffsflächen. Untersuchen Sie, wie MoAI-Verteidigungsmaßnahmen diese Flächen in den Phasen Vorbereitstellung, Laufzeitausführung und Nachbereitstellung schützen.
5. Blicken Sie nach vorn. Erkunden Sie neue Sicherheitsherausforderungen beim On-Device-Training, bei On-Device-GenAI und bei agentischen MoAI-Systemen.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomie auf einen Blick

Pillar-übergreifende Sicherheitsanalyse

Angriffe auf MoAI-Systeme

Ausnutzung der Modellähnlichkeit

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Gradienten-Rekonstruktion

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Manipulation der Vorverarbeitung

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Payload-Injektion

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
  _{Automated Software Engineering (ASEJ 2026)}

Modellquantisierung

• Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Bild-Steganografie

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Statische Analyse

• A First Look at Deep Learning Apps on Smartphones [Code]
  _{The World Wide Web Conference (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Dynamische Analyse

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Seitenkanal

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Verteidigungsmaßnahmen für MoAI-Systeme

Verschleierung auf Software-Ebene

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Verschleierung auf Hardware-Ebene

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
  _{International Conference on Machine Learning (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Monolithische Ausführung

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv preprint (arXiv 2026)}

Partitionierte Ausführung

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: Sicheres und leistungsfähiges On-Device-Deep-Learning-Inferenz-Framework für mobile und IoT-Geräte
  _{International Conference on Internet-of-Things Design and Implementation (IoTDI 2021)}

• ShadowNet: Ein sicheres und effizientes On-Device-Modellinferenzsystem für Convolutional Neural Networks [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2023)}

• MirrorNet: Ein TEE-freundliches Framework für sichere On-Device-DNN-Inferenz
  _{IEEE/ACM International Conference on Computer-Aided Design (ICCAD 2023)}

• TSQP: Schutz von Echtzeit-Inferenz für quantisierte neuronale Netze auf Edge-Geräten [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2025)}

• TEESlice: Schutz sensibler neuronaler Netzmodelle in Trusted Execution Environments, wenn Angreifer vortrainierte Modelle besitzen
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2025)}

• TensorShield: Schutz der On-Device-Inferenz durch Abschirmung kritischer DNN-Tensoren mit TEE [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2025)}

Verschleierndes Offloading

• GroupCover: Ein sicheres, effizientes und skalierbares Inferenz-Framework für den On-Device-Modellschutz auf Basis von TEEs [Code]
  _{International Conference on Machine Learning (ICML 2024)}

• Game of Arrows: Über die (Un-)Sicherheit von Gewichtsverschleierung für TEE-geschützte LLM-Partitionsalgorithmen auf dem Gerät [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

• MirageNet: Ein sicheres, effizientes und skalierbares On-Device-Modellschutzsystem in heterogenen TEE- und GPU-Systemen
  _{arXiv-Preprint (arXiv 2026)}

• THEMIS: Auf dem Weg zu praktischem Schutz geistigen Eigentums für nach der Bereitstellung eingesetzte On-Device-Deep-Learning-Modelle [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Offene Probleme

Die folgenden offenen Probleme fassen die wichtigsten Forschungslücken zusammen, die in unserem SoK identifiziert wurden. Wir halten die Beschreibungen hier für die Leser dieses Repositorys auf hohem Niveau. Detailliertere technische Diskussionen finden sich in der Arbeit.

1. Praktikabilität der Angriffsbereitstellung.
   Adversarial Angriffe gegen On-Device-Modelle bleiben nach der Bereitstellung schwer realisierbar, da sie oft die Kontrolle über Modelleingaben, das Einfügen adversarialer Störungen oder das Neupaketieren von Apps zur Änderung des Vorverarbeitungscodes erfordern. Diese Schritte können in realen Endnutzer-Bereitstellungen unpraktikabel oder erkennbar sein.

2. Verdeckte Modellmodifikation.
   Backdoor-Angriffe müssen nach der Bereitstellung Einstiegspunkte finden, die über die standardmäßige Vergiftung während des Trainings hinausgehen, da On-Device-Modelle typischerweise schreibgeschützt und nur für die Inferenz bestimmt sind. Die zentrale Herausforderung besteht darin, verstecktes bösartiges Verhalten einzuführen, ohne beobachtbare Veränderungen in den Modellartefakten zu erzeugen.

3. Präzise Gewichtslokalisierung.
   Adversarial Gewichtsangriffe legen ein Integritätsrisiko auf Parameterebene offen, aber die praktische Bereitstellung hängt davon ab, verhaltenskritische Gewichte im großen Parametersuchraum zu lokalisieren. Dies ist schwierig, da Angreifern oft die Gradientenführung fehlt und sie die nutzbringende Funktionalität bewahren müssen, während sie nur ausgewählte Parameter modifizieren.

4. Zuverlässige Modellextraktion.
   Die lokale Modellspeicherung macht Modelldiebstahl nicht trivial. Die praktische Extraktion hängt weiterhin von zuverlässiger Modellidentifikation, Entschlüsselung und Rekonstruktion angesichts angepasster Verschlüsselungsalgorithmen, nicht standardmäßiger KI-Frameworks und laufzeitspezifischem Ladeverhalten ab.

5. Hardware-Heterogenität.
   Energie-Latenz-Angriffe hängen davon ab, wie vergiftete Aktivierungsmuster mit gerätespezifischem Ausführungsverhalten interagieren. Sie können die Latenz und den Energieverbrauch auf spärlichkeitsempfindlichen Beschleunigern verstärken, lassen sich jedoch nicht auf Hardware ohne spärlichkeitsabhängige Ausführung übertragen.

6. Ausführbare Äquivalenz.
   Modellverschleierung muss weiterhin die ursprüngliche Vorhersagefunktion während der autorisierten Inferenz bewahren. Diese ausführbare Äquivalenz kann wiederherstellbare Laufzeitzustände, transformierte Gewichte, Operatorsemantik oder strukturelle Spuren offenlegen, die eine semantische, strukturelle oder Parameter-Rückgewinnung ermöglichen.

7. Durchsetzung auf Client-Seite.
   Die Modellautorisierung bindet korrekte Inferenz an Anmeldeinformationen, Integritätsprüfungen und die Wiederherstellung gepackter Gewichte. Diese Prüfungen müssen jedoch innerhalb des mobilen Stacks ausgeführt werden, wodurch die Durchsetzung von Client-seitigem Code abhängt, der nach der Bereitstellung reverse-engineert, neu paketiert, gehooked oder instrumentiert werden kann.

8. Machbarkeit der TEE-Bereitstellung.
   TEE-Verteidigungen erfordern koordinierte Unterstützung über Modellformate, KI-Frameworks, Operatorbibliotheken, Delegaten, Beschleuniger und CPU/GPU/NPU-Isolationsschnittstellen hinweg. Aktuelle mobile Ökosysteme verfügen weiterhin nicht über weit verbreitete, entwickler-transparente TEE-gestützte Inferenz-Stacks.

9. Robustheit von Wasserzeichen.
   Modell-Wasserzeichen ermöglichen die Eigentumsverifizierung nach der Bereitstellung, aber gestohlene Modelle können durch Framework-Konvertierung, Verschlüsselung oder App-Ebene Eingabe-Ausgabe-Vermittlung erneut bereitgestellt werden. Diese Transformationen können die nutzbringende Inferenz bewahren, während sie Trigger-Reaktionen, Konfidenzmuster oder Ausgabesemantik stören, die für die Verifizierung verwendet werden.

Neue Richtungen

Über die neun offenen Probleme hinaus hebt unser SoK drei neue Richtungen hervor, in denen sich die MOAI-Sicherheit voraussichtlich als Nächstes ausweiten wird. Diese Richtungen bewegen die MoAI-Sicherheitsforschung hin zu systematischer Evaluierung, während sie ihren Umfang auf die neu entstehenden Angriffsflächen ausweiten, die durch On-Device-Training und agentische MoAI-Systeme eingeführt werden. Wir fassen sie hier auf hoher Ebene zusammen. Die begleitende Arbeit bietet detailliertere Motivation, Bedrohungsoberflächen und Forschungsherausforderungen.

Bestehende MoAI-Sicherheitsstudien evaluieren Angriffe und Verteidigungen mit selbst gesammelten Datensätzen, methodenspezifischen Metriken und unterschiedlichen Bedrohungsmodellen und sind typischerweise auf eine einzelne Plattform (Android oder iOS) beschränkt. Dies macht Evaluierungsergebnisse schwer vergleichbar und übersieht plattformspezifische Unterschiede. Zukünftige Arbeiten sollten einheitliche Benchmarks etablieren, die Datensätze, Metriken und Bedrohungsmodelle standardisieren und eine plattformübergreifende Evaluierung für eine systematische, vergleichbare und reproduzierbare Bewertung der MoAI-Sicherheit unterstützen.

Die aktuelle MoAI-Sicherheitsforschung konzentriert sich hauptsächlich auf bereitgestellte Modelle, die schreibgeschützt und nur für die Inferenz bestimmt sind. On-Device-Training ändert diese Annahme, indem es ermöglicht, Modelle lokal zu aktualisieren, was Gradienten, Parameteraktualisierungen und Benutzerdaten während des Trainingsprozesses offenlegt. Dies eröffnet neue Fragen rund um lokales Fine-Tuning, Aktualisierungsintegrität, Offenlegung von Trainingsdaten, Personalisierungsvergiftung und Verteidigungen für Trainingszustände auf Endnutzergeräten.

MoAI-Systeme entwickeln sich von passiver lokaler Inferenz hin zu agentischen Workflows, die Modelle mit Sensoren, privaten Benutzerdaten, App-Kontexten, OS-Diensten und appübergreifenden Schnittstellen verbinden. Dies verschiebt den Sicherheitsfokus vom alleinigen Schutz von Modellartefakten hin zur Steuerung von Kontext-zu-Aktion-Ketten. Zukünftige Arbeiten sollten die Herkunft mobiler Kontexte, die Trennung vertrauenswürdiger Benutzerabsicht von nicht vertrauenswürdigem Umgebungsinhalt, aufgabenbezogene Berechtigungen für die Nutzung von Werkzeugen und APIs, Bestätigung und Rollback für sensible Aktionen sowie die Prüfung von Agentenplänen, Speicher und Aktionen untersuchen.