Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Yujin Huang, Xin Zheng, Xingliang Yuan, Kwok-Yan Lam

I sistemi di intelligenza artificiale su dispositivo mobile eseguono modelli AI localmente attraverso framework ML come LiteRT/TFLite, Core ML, ExecuTorch, ONNX e acceleratori hardware. Questo repository traccia la ricerca sulla sicurezza necessaria per comprendere e proteggere tali sistemi, poiché l'archiviazione locale dei modelli su dispositivo introduce nuovi rischi per la sicurezza.

Panoramica di un sistema AI su dispositivo mobile

Contenuti

• Percorso di lettura
• Tassonomia a colpo d'occhio
• Analisi della sicurezza tra i pilastri
• Attacchi ai sistemi MoAI
  • Attacchi avversari
    • Sfruttamento della somiglianza del modello
    • Ricostruzione del gradiente
    • Manipolazione del preprocessing
  • Attacchi backdoor
    • Iniezione di payload
    • Quantizzazione del modello
    • Steganografia delle immagini
  • Attacchi ai pesi avversari
  • Attacchi di furto del modello
    • Analisi statica
    • Analisi dinamica
    • Canale laterale
  • Attacchi di latenza energetica
• Difese per i sistemi MoAI
  • Offuscamento del modello
    • Occultamento a livello software
    • Occultamento a livello hardware
  • Autorizzazione del modello
  • Ambienti di esecuzione affidabili
    • Esecuzione monolitica
    • Esecuzione partizionata
    • Offuscamento dello scaricamento
  • Watermarking del modello
• Problemi aperti
• Direzioni emergenti

Percorso di lettura

Nuovo alla sicurezza MoAI? Inizia qui:

1. Comprendi l'ecosistema. Leggi studi empirici sulle app deep learning e sui modelli su dispositivo nelle app Android/iOS.
2. Impara il rischio principale. Studia articoli sull'estrazione e la protezione dei modelli, poiché la residenza locale dei modelli è il cambiamento centrale di sicurezza nei sistemi MoAI.
3. Comprendi le superfici di attacco. Studia come gli attacchi MoAI emergono attraverso interfacce di input, artefatti del modello, esecuzione runtime e ambienti basati su hardware.
4. Collega le difese alle superfici. Esamina come le difese MoAI proteggono queste superfici nelle fasi di pre-distribuzione, esecuzione runtime e post-distribuzione.
5. Guarda avanti. Esplora nuove sfide di sicurezza nell'addestramento su dispositivo, GenAI su dispositivo e sistemi MoAI agentici.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Tassonomia a colpo d'occhio

Analisi della sicurezza tra i pilastri

Attacchi ai sistemi MoAI

Sfruttamento della somiglianza del modello

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Codice]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Codice]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Codice]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Codice]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Ricostruzione del gradiente

• Investigating White-Box Attacks for On-Device Models [Codice]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Codice]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Manipolazione del preprocessing

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Codice]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Iniezione di payload

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Codice]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Codice]
  _{Automated Software Engineering (ASEJ 2026)}

Quantizzazione del modello

• Quantization Backdoors to Deep Learning Commercial Frameworks [Codice]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Steganografia delle immagini

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Analisi statica

• A First Look at Deep Learning Apps on Smartphones [Codice]
  _{The World Wide Web Conference (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Codice]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Codice]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Analisi dinamica

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Codice]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Codice]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Codice]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Codice]
  _{USENIX Security Symposium (USENIX Security 2025)}

Canale laterale

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Difese per i sistemi MoAI

Occultamento a livello software

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Codice]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Codice]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Codice]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Occultamento a livello hardware

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Codice]
  _{International Conference on Machine Learning (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Codice]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Codice]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Codice]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Esecuzione monolitica

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Codice]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Codice]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv preprint (arXiv 2026)}

Esecuzione partizionata

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Codice]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Codice]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: Secure and Performant On-Device Deep Learning Inference Framework for Mobile and IoT Devices
  _{International Conference on Internet-of-Things Design and Implementation (IoTDI 2021)}

• ShadowNet: A Secure and Efficient On-Device Model Inference System for Convolutional Neural Networks [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2023)}

• MirrorNet: A TEE-Friendly Framework for Secure On-Device DNN Inference
  _{IEEE/ACM International Conference on Computer-Aided Design (ICCAD 2023)}

• TSQP: Safeguarding Real-Time Inference for Quantization Neural Networks on Edge Devices [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2025)}

• TEESlice: Protecting Sensitive Neural Network Models in Trusted Execution Environments When Attackers Have Pre-Trained Models
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2025)}

• TensorShield: Safeguarding On-Device Inference by Shielding Critical DNN Tensors with TEE [Code]

Offuscamento e scaricamento

• GroupCover: A Secure, Efficient and Scalable Inference Framework for On-Device Model Protection Based on TEEs [Code]
  _{International Conference on Machine Learning (ICML 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

• MirageNet: A Secure, Efficient, and Scalable On-Device Model Protection in Heterogeneous TEE and GPU System
  _{arXiv preprint (arXiv 2026)}

• THEMIS: Towards Practical Intellectual Property Protection for Post-Deployment On-Device Deep Learning Models [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Problemi aperti

I seguenti problemi aperti riassumono le principali lacune di ricerca identificate nel nostro SoK. Manteniamo qui le descrizioni ad alto livello per i lettori che utilizzano questo repository. Discussioni più tecniche si trovano nell'articolo.

<img src="https://img.shields.io/badge/ATTACCO%20OPS%20%E2%80%94%20DALL"ACCESSO%20AL%20MODELLO%20AGLI%20ATTACCHI%20DISTRIBUIBILI-7F1D1D?style=for-the-badge" height="28" align="absmiddle" />

1. Praticità di attacco dopo il dispiegamento.
   Gli attacchi avversari contro i modelli on-device rimangono difficili da realizzare dopo il dispiegamento perché spesso richiedono il controllo degli input del modello, l'inserimento di perturbazioni avversarie o il re-impacchettamento dell'app per modificare il codice di pre-elaborazione. Questi passaggi possono essere poco pratici o rilevabili in reali distribuzioni agli utenti finali.

2. Modifica stealth del modello.
   Gli attacchi backdoor necessitano di trovare punti d'ingresso post-dispiegamento oltre l'avvelenamento standard in fase di addestramento, poiché i modelli on-device sono tipicamente in sola lettura e solo inferenza. La sfida principale è introdurre un comportamento nascosto malevolo senza produrre cambiamenti osservabili negli artefatti del modello.

3. Localizzazione precisa dei pesi.
   Gli attacchi avversari ai pesi espongono un rischio di integrità a livello di parametri, ma il dispiegamento pratico dipende dalla localizzazione dei pesi critici per il comportamento nel grande spazio di ricerca dei parametri. Ciò è difficile perché gli attaccanti spesso mancano di indicazioni del gradiente e devono preservare l'utilità benigna modificando solo parametri selezionati.

4. Estrazione affidabile del modello.
   La memorizzazione locale del modello non rende semplice il furto del modello. L'estrazione pratica dipende ancora dall'identificazione affidabile del modello, dalla decifratura e dalla ricostruzione in presenza di algoritmi di crittografia personalizzati, framework AI non standard e comportamento di caricamento specifico del runtime.

5. Eterogeneità hardware.
   Gli attacchi energetico-latenza dipendono da come i pattern di attivazione avvelenati interagiscono con il comportamento esecutivo specifico del dispositivo. Possono amplificare la latenza e il consumo energetico su acceleratori sensibili alla sparsità, ma non trasferirsi a hardware senza esecuzione dipendente dalla sparsità.

6. Equivalenza eseguibile.
   L'offuscamento del modello deve ancora preservare la funzione di predizione originale durante l'inferenza autorizzata. Questa equivalenza eseguibile può esporre stati runtime recuperabili, pesi trasformati, semantica degli operatori o tracce strutturali che consentono il recupero semantico, strutturale o dei parametri.

7. Applicazione lato client.
   L'autorizzazione del modello lega l'inferenza corretta a credenziali, controlli di integrità e recupero dei pesi impacchettati. Tuttavia, questi controlli devono essere eseguiti all'interno dello stack mobile, rendendo l'applicazione dipendente da codice lato client che può essere decompilato, reimpacchettato, hookato o strumentato dopo il dispiegamento.

8. Fattibilità del dispiegamento TEE.
   Le difese TEE richiedono supporto coordinato tra formati di modello, framework AI, librerie di operatori, delegati, acceleratori e interfacce di isolamento CPU/GPU/NPU. Gli ecosistemi mobili attuali mancano ancora di stack di inferenza basati su TEE ampiamente adottati e trasparenti per lo sviluppatore.

9. Robustezza del watermarking.
   Il watermarking del modello consente la verifica della proprietà post-dispiegamento, ma i modelli rubati possono essere ridistribuiti tramite conversione del framework, crittografia o mediazione input-output a livello di app. Queste trasformazioni possono preservare l'inferenza benigna mentre interrompono le risposte ai trigger, i pattern di confidenza o la semantica dell'output utilizzati per la verifica.

Direzioni emergenti

Oltre ai nove problemi aperti sopra, il nostro SoK evidenzia tre direzioni emergenti in cui la sicurezza MoAI probabilmente si espanderà. Queste direzioni vanno oltre i modelli statici solo inferenza on-device verso sistemi MoAI adattivi, generativi e orientati all'azione. Le riassumiamo qui ad alto livello. L'articolo complementare fornisce motivazioni, superfici di minaccia e sfide di ricerca più dettagliate.

<img src="https://img.shields.io/badge/Sicurezza%20dell"Addestramento%20sul%20Dispositivo-5B21B6?style=for-the-badge" height="28" align="absmiddle" />

L'attuale ricerca sulla sicurezza MoAI si concentra principalmente su modelli dispiegati in sola lettura e solo inferenza. L'addestramento sul dispositivo modifica questa ipotesi consentendo ai modelli di essere aggiornati localmente, esponendo gradienti, aggiornamenti dei parametri e dati utente durante il processo di addestramento. Ciò apre nuove domande riguardanti il fine-tuning locale, l'integrità degli aggiornamenti, l'esposizione dei dati di addestramento, l'avvelenamento della personalizzazione e le difese per gli stati di addestramento sui dispositivi degli utenti finali.

Gli studi esistenti sulla sicurezza MoAI sono ancora in gran parte incentrati su attività basate sulla visione come la classificazione delle immagini. Con l'arrivo di LLM e modelli generativi sugli smartphone, la sicurezza MoAI deve espandersi a sistemi guidati da prompt e generatori di contenuti. Le sfide importanti includono l'iniezione di prompt, i jailbreak, la divulgazione involontaria di informazioni e la fuga di contesto locale per LLM on-device.

I sistemi MoAI si stanno evolvendo dall'inferenza locale passiva a flussi di lavoro agentici che collegano i modelli con sensori, dati privati degli utenti, contesti delle app, servizi OS e interfacce tra app. Questo sposta il focus della sicurezza dalla protezione dei soli artefatti del modello alla governance delle catene contesto-azione. I lavori futuri dovrebbero studiare la provenienza per il contesto mobile, la separazione dell'intento fidato dell'utente dal contenuto ambientale non fidato, permessi con ambito di attività per l'uso di strumenti e API, conferma e rollback per azioni sensibili, e audit dei piani, della memoria e delle azioni dell'agente.