Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

I sistemi di intelligenza artificiale mobile on-device eseguono modelli di IA localmente tramite framework di ML come LiteRT/TFLite, Core ML, ExecuTorch, ONNX e acceleratori hardware dedicati. Questo repository traccia la ricerca sulla sicurezza necessaria per comprendere e proteggere tali sistemi, poiché l'archiviazione locale dei modelli on-device introduce nuovi rischi per la sicurezza.

Panoramica di un sistema di IA mobile on-device

Contenuti

• Percorso di lettura
• Tassonomia in sintesi
• Analisi di sicurezza trasversale
• Attacchi ai sistemi MoAI
  • Attacchi avversari
    • Sfruttamento della similarità dei modelli
    • Ricostruzione del gradiente
    • Manipolazione della pre-elaborazione
  • Attacchi backdoor
    • Iniezione di payload
    • Quantizzazione del modello
    • Steganografia delle immagini
  • Attacchi avversari ai pesi
  • Attacchi di furto del modello
    • Analisi statica
    • Analisi dinamica
    • Canale laterale
  • Attacchi energia-latenza
• Difese per i sistemi MoAI
  • Offuscamento del modello
    • Occultamento a livello software
    • Occultamento a livello hardware
  • Autorizzazione del modello
  • Ambienti di esecuzione affidabili
    • Esecuzione monolitica
    • Esecuzione partizionata
    • Offloading offuscato
  • Watermarking del modello
• Problemi aperti
• Direzioni emergenti

Percorso di lettura

Nuovo alla sicurezza MoAI? Inizia qui:

1. Comprendi l'ecosistema. Leggi studi empirici sulle app di deep learning e sui modelli on-device nelle app Android/iOS.
2. Impara il rischio principale. Studia gli articoli sull'estrazione dei modelli e sulla protezione dei modelli, poiché la residenza locale dei modelli è il cambiamento centrale per la sicurezza nei sistemi MoAI.
3. Comprendi le superfici di attacco. Studia come gli attacchi MoAI emergono attraverso le interfacce di input, gli artefatti dei modelli, l'esecuzione runtime e gli ambienti basati su hardware.
4. Collega le difese alle superfici. Esamina come le difese MoAI proteggono queste superfici nelle fasi di pre-distribuzione, esecuzione runtime e post-distribuzione.
5. Guarda avanti. Esplora le nuove sfide di sicurezza nell'addestramento on-device, nella GenAI on-device e nei sistemi MoAI agentici.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Tassonomia in sintesi

Pilastro di sicurezza MoAI	Cosa protegge	Attacchi rappresentativi	Difese rappresentative
Integrità degli input governata dall'utente	L'integrità end-to-end degli input utente, dall'acquisizione dei dati mobili alla consegna degli input al modello	Attacchi avversari, Attacchi backdoor, Attacchi energia-latenza	-
Sicurezza del modello residente sul dispositivo	Gli artefatti dei modelli distribuiti e tutte le forme post-distribuzione in cui i modelli vengono archiviati, caricati, trasformati o materializzati sui dispositivi	Attacchi avversari, Attacchi backdoor, Attacchi avversari ai pesi, Attacchi di furto del modello, Attacchi energia-latenza	Offuscamento del modello, Autorizzazione del modello, TEE, Watermarking del modello
Confinamento dell'ambiente nativo del dispositivo	Il calcolo di inferenza sensibile e gli stati runtime attraverso il sistema operativo mobile, il runtime di IA, il sottosistema di memoria e gli ambienti di esecuzione basati su hardware	Attacchi di furto del modello, Attacchi energia-latenza	Offuscamento del modello, TEE