Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Mobile On-Device-AI-Systeme führen KI-Modelle lokal über ML-Frameworks wie LiteRT/TFLite, Core ML, ExecuTorch, ONNX und hardwaregestützte Beschleuniger aus. Dieses Repository verfolgt die Sicherheitsforschung, die zum Verständnis und Schutz solcher Systeme erforderlich ist, da die lokale Speicherung von On-Device-Modellen neue Sicherheitsrisiken mit sich bringt.

Überblick über ein Mobile On-Device-AI-System

Inhalt

• Lese-Roadmap
• Taxonomie auf einen Blick
• Pillar-übergreifende Sicherheitsanalyse
• Angriffe auf MoAI-Systeme
  • Adversarial Attacks
    • Ausnutzung der Modellähnlichkeit
    • Gradienten-Rekonstruktion
    • Manipulation der Vorverarbeitung
  • Backdoor-Angriffe
    • Payload-Injektion
    • Modellquantisierung
    • Bild-Steganografie
  • Adversarial Weight Attacks
  • Modell-Diebstahl-Angriffe
    • Statische Analyse
    • Dynamische Analyse
    • Seitenkanal
  • Energie-Latenz-Angriffe
• Verteidigungsmaßnahmen für MoAI-Systeme
  • Modell-Verschleierung
    • Verschleierung auf Software-Ebene
    • Verschleierung auf Hardware-Ebene
  • Modell-Autorisierung
  • Trusted Execution Environments
    • Monolithische Ausführung
    • Partitionierte Ausführung
    • Verschleiertes Offloading
  • Modell-Wasserzeichen
• Offene Probleme
• Aufkommende Richtungen

Lese-Roadmap

Neu in der MoAI-Sicherheit? Beginnen Sie hier:

1. Verstehen Sie das Ökosystem. Lesen Sie empirische Studien über Deep-Learning-Apps und On-Device-Modelle in Android-/iOS-Apps.
2. Lernen Sie das Kernrisiko kennen. Studieren Sie Arbeiten zur Modellextraktion und zum Modellschutz, da die lokale Modellspeicherung die zentrale Sicherheitsverschiebung in MoAI-Systemen darstellt.
3. Verstehen Sie die Angriffsflächen. Untersuchen Sie, wie MoAI-Angriffe über Eingabeschnittstellen, Modellartefakte, Laufzeitausführung und hardwaregestützte Umgebungen entstehen.
4. Verknüpfen Sie Verteidigungsmaßnahmen mit den Angriffsflächen. Untersuchen Sie, wie MoAI-Verteidigungsmaßnahmen diese Flächen in den Phasen Vorbereitstellung, Laufzeitausführung und Nachbereitstellung schützen.
5. Blicken Sie nach vorn. Erkunden Sie neue Sicherheitsherausforderungen beim On-Device-Training, bei On-Device-GenAI und bei agentischen MoAI-Systemen.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomie auf einen Blick

MoAI-Sicherheits-Pillar	Was geschützt wird	Repräsentative Angriffe	Repräsentative Verteidigungsmaßnahmen
Benutzergesteuerte Eingabeintegrität	Die End-to-End-Integrität von Benutzereingaben, von der mobilen Datenerfassung bis zur Übergabe an die Modelleingabe	Adversarial Attacks, Backdoor-Angriffe, Energie-Latenz-Angriffe	-
Sicherheit gerätegebundener Modelle	Bereitgestellte Modellartefakte und alle Formen nach der Bereitstellung, in denen Modelle auf Geräten gespeichert, geladen, transformiert oder materialisiert werden	Adversarial Attacks, Backdoor-Angriffe, Adversarial Weight Attacks, Modell-Diebstahl-Angriffe, Energie-Latenz-Angriffe	Modell-Verschleierung, Modell-Autorisierung, TEE, Modell-Wasserzeichen
Gerätenative Umgebungsisolierung	Sensible Inferenzberechnungen und Laufzeitzustände über das mobile Betriebssystem, die KI-Laufzeit, das Speichersubsystem und hardwaregestützte Ausführungsumgebungen	Modell-Diebstahl-Angriffe, Energie-Latenz-Angriffe	Modell-Verschleierung, TEE