Awesome Mobile On-Device AI Security

SoK: Angriffs- und Verteidigungslandschaft mobiler On-Device-AI-Systeme

Yujin Huang, Xin Zheng, Xingliang Yuan, Kwok-Yan Lam

Mobile On-Device-AI-Systeme führen KI-Modelle lokal über ML-Frameworks wie LiteRT/TFLite, Core ML, ExecuTorch, ONNX und hardwaregestützte Beschleuniger aus. Dieses Repository verfolgt die Sicherheitsforschung, die zum Verständnis und Schutz solcher Systeme erforderlich ist, da die lokale Speicherung von On-Device-Modellen neue Sicherheitsrisiken birgt.

Überblick über ein mobiles On-Device-AI-System

Inhalt

• Lesefahrplan
• Taxonomie auf einen Blick
• Sicherheitsanalyse über Säulen hinweg
• Angriffe auf MoAI-Systeme
  • Gegnerische Angriffe
    • Ausnutzung der Modellähnlichkeit
    • Gradientenrekonstruktion
    • Manipulation der Vorverarbeitung
  • Backdoor-Angriffe
    • Payload-Injektion
    • Modellquantisierung
    • Bildsteganografie
  • Gegnerische Gewichtsangriffe
  • Modell-Diebstahl-Angriffe
    • Statische Analyse
    • Dynamische Analyse
    • Seitenkanal
  • Energie-Latenz-Angriffe
• Verteidigungen für MoAI-Systeme
  • Modellverschleierung
    • Verschleierung auf Softwareebene
    • Verschleierung auf Hardwareebene
  • Modellautorisierung
  • Vertrauenswürdige Ausführungsumgebungen
    • Monolithische Ausführung
    • Partitionierte Ausführung
    • Verschleiertes Offloading
  • Modell-Watermarking
• Offene Probleme
• Neue Richtungen

Lesefahrplan

Neu in der MoAI-Sicherheit? Fangen Sie hier an:

1. Verstehen Sie das Ökosystem. Lesen Sie empirische Studien über Deep-Learning-Apps und On-Device-Modelle in Android-/iOS-Apps.
2. Lernen Sie das Kernrisiko kennen. Studieren Sie Arbeiten zur Modellextraktion und zum Modellschutz, da die lokale Modellverwaltung die zentrale Sicherheitsverschiebung in MoAI-Systemen darstellt.
3. Verstehen Sie die Angriffsflächen. Untersuchen Sie, wie MoAI-Angriffe über Eingabeschnittstellen, Modellartefakte, Laufzeitausführung und hardwaregestützte Umgebungen hinweg entstehen.
4. Verknüpfen Sie Verteidigungen mit den Flächen. Untersuchen Sie, wie MoAI-Verteidigungen diese Flächen über die Phasen der Voreinsatz-, Laufzeit- und Nacheinsatzphase hinweg schützen.
5. Blicken Sie nach vorne. Erkunden Sie neue Sicherheitsherausforderungen beim On-Device-Training, bei On-Device-GenAI und bei agentischen MoAI-Systemen.

•  Ein erster Blick auf Deep-Learning-Apps auf Smartphones
•  Ein erster Blick auf On-Device-Modelle in iOS-Apps

•  Achten Sie auf Ihre Gewichte: Eine groß angelegte Studie zum unzureichenden Schutz von ML-Modellen in mobilen Apps

•  Robustheit von On-Device-Modellen: Gegnerischer Angriff auf Deep-Learning-Modelle in Android-Apps
•  DeepPayload: Black-Box-Backdoor-Angriff auf Deep-Learning-Modelle durch neuronale Payload-Injektion
•  Typhon entfesselt: Praktische gegnerische Gewichtsangriffe gegen On-Device-Deep-Learning-Modelle
•  Energie-Latenz-Angriffe auf On-Device-neuronale Netze durch Schwammvergiftung

•  ModelObfuscator: Verschleiern von Modellinformationen zum Schutz eingesetzter ML-basierter Systeme
•  ShadowNet: Ein sicheres und effizientes On-Device-Modellinferenzsystem
•  THEMIS: Auf dem Weg zum praktischen IP-Schutz für nach der Bereitstellung eingesetzte On-Device-DL-Modelle

Taxonomie auf einen Blick

Sicherheitsanalyse über Säulen hinweg

Angriffe auf MoAI-Systeme

Ausnutzung der Modellähnlichkeit

• Robustheit von On-Device-Modellen: Gegnerischer Angriff auf Deep-Learning-Modelle in Android-Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacken von Deep-Learning-Modellen in Android-Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Verständnis realer Bedrohungen für Deep-Learning-Modelle in Android-Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Ihre Apps betrügen: Black-Box-Gegnerische Angriffe auf Deep-Learning-Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• Ein erster Blick auf On-Device-Modelle in iOS-Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Gradientenrekonstruktion

• Untersuchung von White-Box-Angriffen auf On-Device-Modelle [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Ermöglichung groß angelegter White-Box-Tests auf In-App-Deep-Learning-Modellen [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Manipulation der Vorverarbeitung

• Jenseits des Modells: Datenvorverarbeitungsangriff auf Deep-Learning-Modelle in Android-Apps [Code]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Payload-Injektion

• DeepPayload: Black-Box-Backdoor-Angriff auf Deep-Learning-Modelle durch neuronale Payload-Injektion [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Verstecken bösartiger Payload in mobilen Deep-Learning-Modellen mit Black-Box-Backdoor-Angriff [Code]
  _{Automated Software Engineering (ASEJ 2026)}

Modellquantisierung

• Quantisierungs-Backdoors in kommerziellen Deep-Learning-Frameworks [Code]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Bildsteganografie

• Heimlicher Backdoor-Angriff auf reale Modelle in Android-Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon entfesselt: Praktische gegnerische Gewichtsangriffe gegen On-Device-Deep-Learning-Modelle
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Statische Analyse

• Ein erster Blick auf Deep-Learning-Apps auf Smartphones [Code]
  _{The World Wide Web Conference (WWW 2019)}

• Ein erster Blick auf On-Device-Modelle in iOS-Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Achten Sie auf Ihre Gewichte: Eine groß angelegte Studie zum unzureichenden Schutz von ML-Modellen in mobilen Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Lerngetriebenes Reverse Engineering für Deep-Learning-Compiler
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Dynamische Analyse

• Achten Sie auf Ihre Gewichte: Eine groß angelegte Studie zum unzureichenden Schutz von ML-Modellen in mobilen Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Verständnis realer Bedrohungen für Deep-Learning-Modelle in Android-Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifizierung von On-Device-Machine-Learning-Modell-Diebstahl- und Wiederverwendungsschwachstellen in mobilen Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Spiel der Pfeile: Über die (Un-)Sicherheit von Gewichtsverschleierung für On-Device-TEE-geschützte LLM-Partitionsalgorithmen [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Seitenkanal

• Modellextraktionsangriff auf On-Device-Deep-Learning mit Leistungsseitenkanal
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Neubetrachtung von Cache-Seitenkanalangriffen in ausführbaren Deep-Neural-Networks
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energie-Latenz-Angriffe auf On-Device-neuronale Netze durch Schwammvergiftung
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Verteidigungen für MoAI-Systeme

Verschleierung auf Softwareebene

• ModelObfuscator: Verschleiern von Modellinformationen zum Schutz eingesetzter ML-basierter Systeme [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Schutz mobiler DL-Modelle durch Kopplung verschleierter DL-Operatoren [Code]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Modelllos ist das beste Modell: Generierung reiner Code-Implementierungen zum Ersatz von On-Device-DL-Modellen [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Verschleierung auf Hardwareebene

• NNSplitter: Eine aktive Verteidigungslösung für DNN-Modelle durch automatisierte Gewichtsverschleierung [Code]
  _{International Conference on Machine Learning (ICML 2023)}

• Eine neuartige Verschleierungsmethode basierend auf Majority Logic zur Verhinderung unbefugten Zugriffs auf binäre Deep-Neural-Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Sicherung von On-Device-Transformatoren mit Hardware-Bindung und reversibler Verschleierung [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatischer Schutz von On-Device-Deep-Learning-Modellen in Android-Apps [Code]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Sicherung von On-Device-Transformatoren mit Hardware-Bindung und reversibler Verschleierung [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Monolithische Ausführung

• Offline Model Guard: Sicheres und privates ML auf mobilen Geräten
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Schnelle und sichere On-Device-Inferenz in TrustZone unter Verwendung eingebetteter SRAM und kryptografischer Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Sichere und effiziente mobile DNN unter Verwendung vertrauenswürdiger Ausführungsumgebungen
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Vertrauliche Ausführung von Deep-Learning-Inferenz am nicht vertrauenswürdigen Rand mit Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone-basierte entwicklerfreundliche TEE für intelligente mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Schutz von On-Device-Deep-Neural-Networks mit virtualisierungsbasierten vertrauenswürdigen Ausführungsumgebungen [Code]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Schutz von On-Device Large Language Models mit Arm TrustZone [Code]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: Ein schnelles und sicheres LLM-Bereitstellungssystem für mobile Geräte mit flexibler Ressourcentrennung
  _{arXiv preprint (arXiv 2026)}

Partitionierte Ausführung

• DarkneTZ: Auf dem Weg zum Modellschutz am Rand mit vertrauenswürdigen Ausführungsumgebungen [Code]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Sichere mobile DNN-Ausführung unter Verwendung hybrider vertrauenswürdiger Ausführungsumgebungen [Code]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: Sicheres und leistungsfähiges On-Device Deep Learning Inference Framework für mobile und IoT-Geräte
  _{Internationale Konferenz über Internet-of-Things Design und Implementierung (IoTDI 2021)}

• ShadowNet: Ein sicheres und effizientes On-Device Modell-Inferenzsystem für Convolutional Neural Networks [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2023)}

• MirrorNet: Ein TEE-freundliches Framework für sicheres On-Device DNN-Inferenz
  _{IEEE/ACM International Conference on Computer-Aided Design (ICCAD 2023)}

• TSQP: Sicherung von Echtzeit-Inferenz für quantisierte neuronale Netze auf Edge-Geräten [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2025)}

• TEESlice: Schutz sensibler neuronaler Netzwerkmodelle in vertrauenswürdigen Ausführungsumgebungen, wenn Angreifer vortrainierte Modelle besitzen
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2025)}

• TensorShield: Sicherung von On-Device-Inferenz durch Abschirmung kritischer DNN-Tensoren mit TEE []

Verschleiertes Offloading

• GroupCover: Ein sicheres, effizientes und skalierbares Inferenz-Framework für den On-Device-Modellschutz basierend auf TEEs [Code]
  _{International Conference on Machine Learning (ICML 2024)}

• Game of Arrows: Über die (Un-)Sicherheit von Gewichtsverschleierung für On-Device TEE-geschützte LLM-Partitionierungsalgorithmen [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

• MirageNet: Ein sicheres, effizientes und skalierbares On-Device-Modellschutz in heterogenem TEE- und GPU-System
  _{arXiv preprint (arXiv 2026)}

• THEMIS: Auf dem Weg zu praktischem Schutz geistigen Eigentums für On-Device Deep Learning Modelle nach der Bereitstellung [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Offene Probleme

Die folgenden offenen Probleme fassen die wichtigsten Forschungslücken zusammen, die in unserem SoK identifiziert wurden. Wir halten die Beschreibungen hier auf hohem Niveau für Leser, die dieses Repository nutzen. Technischere Diskussionen finden sich in der Arbeit.

1. Praktikabilität der Angriffsbereitstellung.
   Gegnerische Angriffe gegen On-Device-Modelle sind nach der Bereitstellung schwer zu realisieren, da sie oft die Kontrolle über Modelleingaben, das Einfügen von gegnerischen Störungen oder das Neuverpacken von Apps zur Änderung des Vorverarbeitungscodes erfordern. Diese Schritte können in realen Endbenutzer-Bereitstellungen unpraktisch oder erkennbar sein.

2. Verdeckte Modellmodifikation.
   Backdoor-Angriffe müssen nach der Bereitstellung Einstiegspunkte jenseits der standardmäßigen Trainingszeitvergiftung finden, da On-Device-Modelle typischerweise schreibgeschützt und nur zur Inferenz bestimmt sind. Die Hauptherausforderung besteht darin, verstecktes bösartiges Verhalten einzuführen, ohne beobachtbare Änderungen an den Modellartefakten zu erzeugen.

3. Präzise Gewichtslokalisierung.
   Gegnerische Gewichtsangriffe stellen ein Integritätsrisiko auf Parameterebene dar, aber die praktische Durchführung hängt davon ab, verhaltenskritische Gewichte im großen Parametersuchraum zu lokalisieren. Dies ist schwierig, da Angreifer oft keine Gradientenführung haben und den nutzbringenden Nutzen bewahren müssen, während sie nur ausgewählte Parameter ändern.

4. Zuverlässige Modellextraktion.
   Die lokale Modellspeicherung macht das Stehlen von Modellen nicht einfach. Die praktische Extraktion hängt immer noch von zuverlässiger Modellidentifikation, Entschlüsselung und Rekonstruktion angesichts maßgeschneiderter Verschlüsselungsalgorithmen, nicht standardmäßiger KI-Frameworks und laufzeitspezifischem Ladeverhalten ab.

5. Hardware-Heterogenität.
   Energie-Latenz-Angriffe hängen davon ab, wie vergiftete Aktivierungsmuster mit gerätespezifischem Ausführungsverhalten interagieren. Sie können die Latenz und den Energieverbrauch auf spärlichkeitssensitiven Beschleunigern verstärken, aber auf Hardware ohne spärlichkeitsabhängige Ausführung nicht übertragbar sein.

6. Ausführbare Äquivalenz.
   Modellverschleierung muss weiterhin die ursprüngliche Vorhersagefunktion während autorisierter Inferenz bewahren. Diese ausführbare Äquivalenz kann wiederherstellbare Laufzeitzustände, transformierte Gewichte, Operatorsemantiken oder strukturelle Spuren offenlegen, die eine semantische, strukturelle oder Parameterwiederherstellung ermöglichen.

7. Clientseitige Durchsetzung.
   Modellautorisierung bindet korrekte Inferenz an Anmeldeinformationen, Integritätsprüfungen und die Wiederherstellung gepackter Gewichte. Diese Prüfungen müssen jedoch innerhalb des mobilen Stacks ausgeführt werden, wodurch die Durchsetzung von clientseitigem Code abhängt, der nach der Bereitstellung rückentwickelt, neu verpackt, gehooked oder instrumentiert werden kann.

8. Machbarkeit der TEE-Bereitstellung.
   TEE-Verteidigungen erfordern koordinierte Unterstützung über Modellformate, KI-Frameworks, Operator-Bibliotheken, Delegates, Beschleuniger und CPU/GPU/NPU-Isolationsschnittstellen hinweg. Aktuelle mobile Ökosysteme entbehren noch weit verbreiteter, entwicklertransparenter TEE-gestützter Inferenz-Stacks.

9. Robustheit von Wasserzeichen.
   Modell-Wasserzeichen ermöglicht die Eigentumsüberprüfung nach der Bereitstellung, aber gestohlene Modelle können durch Framework-Konvertierung, Verschlüsselung oder app-level Input-Output-Vermittlung neu bereitgestellt werden. Diese Transformationen können die gutartige Inferenz bewahren, während sie Triggerreaktionen, Vertrauensmuster oder Ausgabesemantiken stören, die für die Überprüfung verwendet werden.

Neue Richtungen

Über die neun offenen Probleme hinaus hebt unser SoK drei neue Richtungen hervor, in denen sich die MOAI-Sicherheit als nächstes wahrscheinlich erweitern wird. Diese Richtungen gehen über statische, nur zur Inferenz geeignete On-Device-Modelle hinaus hin zu adaptiven, generativen und handlungsorientierten MoAI-Systemen. Wir fassen sie hier auf hohem Niveau zusammen. Die begleitende Arbeit liefert detailliertere Motivation, Bedrohungsoberflächen und Forschungsherausforderungen.

Die aktuelle MoAI-Sicherheitsforschung konzentriert sich hauptsächlich auf bereitgestellte Modelle, die schreibgeschützt und nur zur Inferenz bestimmt sind. On-Device-Training ändert diese Annahme, indem es ermöglicht, Modelle lokal zu aktualisieren, was Gradienten, Parameteraktualisierungen und Benutzerdaten während des Trainingsprozesses offenlegt. Dies eröffnet neue Fragen zum lokalen Fine-Tuning, zur Aktualitätsintegrität, zur Offenlegung von Trainingsdaten, zur Personalisierungsvergiftung und zu Verteidigungen für Trainingszeit-Zustände auf Endbenutzergeräten.

Bestehende MoAI-Sicherheitsstudien konzentrieren sich noch weitgehend auf visionsbasierte Aufgaben wie Bildklassifikation. Da LLMs und generative Modelle auf Smartphones verlagert werden, muss sich die MoAI-Sicherheit auf promptgesteuerte und inhaltserzeugende Systeme ausweiten. Wichtige Herausforderungen umfassen Prompt Injection, Jailbreaks, unbeabsichtigte Informationspreisgabe und lokales Kontextleck für On-Device-LLMs.

MoAI-Systeme entwickeln sich von passiver lokaler Inferenz hin zu agentischen Workflows, die Modelle mit Sensoren, privaten Benutzerdaten, App-Kontexten, OS-Diensten und plattformübergreifenden Schnittstellen verbinden. Dies verlagert den Sicherheitsfokus vom alleinigen Schutz von Modellartefakten hin zur Steuerung von Kontext-zu-Aktion-Ketten. Zukünftige Arbeiten sollten die Herkunft des mobilen Kontexts, die Trennung von vertrauenswürdiger Benutzerabsicht von unzuverlässigen Umgebungsinhalten, aufgabenspezifische Berechtigungen für Werkzeug- und API-Nutzung, Bestätigung und Rückgängigmachung für sensible Aktionen sowie die Überwachung von Agentenplänen, Gedächtnis und Aktionen untersuchen.