Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

I sistemi di intelligenza artificiale mobile on-device eseguono modelli di IA localmente tramite framework di ML come LiteRT/TFLite, Core ML, ExecuTorch, ONNX e acceleratori hardware dedicati. Questo repository traccia la ricerca sulla sicurezza necessaria per comprendere e proteggere tali sistemi, poiché l'archiviazione locale dei modelli on-device introduce nuovi rischi per la sicurezza.

Panoramica di un sistema di IA mobile on-device

Contenuti

• Percorso di lettura
• Tassonomia in sintesi
• Analisi di sicurezza trasversale
• Attacchi ai sistemi MoAI
  • Attacchi avversari
    • Sfruttamento della similarità dei modelli
    • Ricostruzione del gradiente
    • Manipolazione della pre-elaborazione
  • Attacchi backdoor
    • Iniezione di payload
    • Quantizzazione del modello
    • Steganografia delle immagini
  • Attacchi avversari ai pesi
  • Attacchi di furto del modello
    • Analisi statica
    • Analisi dinamica
    • Canale laterale
  • Attacchi energia-latenza
• Difese per i sistemi MoAI
  • Offuscamento del modello
    • Occultamento a livello software
    • Occultamento a livello hardware
  • Autorizzazione del modello
  • Ambienti di esecuzione affidabili
    • Esecuzione monolitica
    • Esecuzione partizionata
    • Offloading offuscato
  • Watermarking del modello
• Problemi aperti
• Direzioni emergenti

Percorso di lettura

Nuovo alla sicurezza MoAI? Inizia qui:

1. Comprendi l'ecosistema. Leggi studi empirici sulle app di deep learning e sui modelli on-device nelle app Android/iOS.
2. Impara il rischio principale. Studia gli articoli sull'estrazione dei modelli e sulla protezione dei modelli, poiché la residenza locale dei modelli è il cambiamento centrale per la sicurezza nei sistemi MoAI.
3. Comprendi le superfici di attacco. Studia come gli attacchi MoAI emergono attraverso le interfacce di input, gli artefatti dei modelli, l'esecuzione runtime e gli ambienti basati su hardware.
4. Collega le difese alle superfici. Esamina come le difese MoAI proteggono queste superfici nelle fasi di pre-distribuzione, esecuzione runtime e post-distribuzione.
5. Guarda avanti. Esplora le nuove sfide di sicurezza nell'addestramento on-device, nella GenAI on-device e nei sistemi MoAI agentici.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Tassonomia in sintesi

Analisi di sicurezza trasversale

Attacchi ai sistemi MoAI

Sfruttamento della similarità dei modelli

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Ricostruzione del gradiente

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Manipolazione della pre-elaborazione

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Iniezione di payload

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
  _{Automated Software Engineering (ASEJ 2026)}

Quantizzazione del modello

• Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Steganografia delle immagini

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Analisi statica

• A First Look at Deep Learning Apps on Smartphones [Code]
  _{The World Wide Web Conference (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Analisi dinamica

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Canale laterale

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Difese per i sistemi MoAI

Occultamento a livello software

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Occultamento a livello hardware

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
  _{International Conference on Machine Learning (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Esecuzione monolitica

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv preprint (arXiv 2026)}

Esecuzione partizionata

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: Secure and Performant On-Device Deep Learning Inference Framework for Mobile and IoT Devices
  _{International Conference on Internet-of-Things Design and Implementation (IoTDI 2021)}

• ShadowNet: A Secure and Efficient On-Device Model Inference System for Convolutional Neural Networks [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2023)}

• MirrorNet: A TEE-Friendly Framework for Secure On-Device DNN Inference
  _{IEEE/ACM International Conference on Computer-Aided Design (ICCAD 2023)}

• TSQP: Safeguarding Real-Time Inference for Quantization Neural Networks on Edge Devices [Code]
  _{IEEE Symposium on Security and Privacy (S&P 2025)}

• TEESlice: Protecting Sensitive Neural Network Models in Trusted Execution Environments When Attackers Have Pre-Trained Models
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2025)}

• TensorShield: Safeguarding On-Device Inference by Shielding Critical DNN Tensors with TEE [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2025)}

Offuscamento tramite offloading

• GroupCover: A Secure, Efficient and Scalable Inference Framework for On-Device Model Protection Based on TEEs [Code]
  _{International Conference on Machine Learning (ICML 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

• MirageNet: A Secure, Efficient, and Scalable On-Device Model Protection in Heterogeneous TEE and GPU System
  _{arXiv preprint (arXiv 2026)}

• THEMIS: Towards Practical Intellectual Property Protection for Post-Deployment On-Device Deep Learning Models [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Problemi aperti

I seguenti problemi aperti riassumono le principali lacune di ricerca identificate nel nostro SoK. Manteniamo qui le descrizioni ad alto livello per i lettori che utilizzano questo repository. Discussioni più tecniche sono disponibili nell'articolo.

1. Praticità di implementazione degli attacchi.
   Gli attacchi avversari contro i modelli on-device rimangono difficili da realizzare dopo la distribuzione, poiché spesso richiedono il controllo degli input del modello, l'inserimento di perturbazioni avversarie o il reimpacchettamento dell'app per modificare il codice di pre-elaborazione. Questi passaggi possono essere impraticabili o rilevabili nelle distribuzioni reali agli utenti finali.

2. Modifica furtiva del modello.
   Gli attacchi backdoor devono trovare punti di ingresso post-distribuzione oltre al poisoning standard in fase di training, poiché i modelli on-device sono tipicamente di sola lettura e solo inferenza. La sfida principale è introdurre un comportamento dannoso nascosto senza produrre modifiche osservabili negli artefatti del modello.

3. Localizzazione precisa dei pesi.
   Gli attacchi avversari sui pesi espongono un rischio di integrità a livello di parametri, ma l'implementazione pratica dipende dalla localizzazione dei pesi critici per il comportamento nel vasto spazio di ricerca dei parametri. Ciò è difficile perché gli attaccanti spesso non dispongono di guida tramite gradienti e devono preservare l'utilità benigna modificando solo parametri selezionati.

4. Estrazione affidabile del modello.
   L'archiviazione locale del modello non rende semplice il furto del modello. L'estrazione pratica dipende ancora dall'identificazione affidabile del modello, dalla decrittazione e dalla ricostruzione in presenza di algoritmi di crittografia personalizzati, framework AI non standard e comportamenti di caricamento specifici del runtime.

5. Eterogeneità hardware.
   Gli attacchi energia-latenza dipendono da come i pattern di attivazione avvelenati interagiscono con il comportamento di esecuzione specifico del dispositivo. Possono amplificare la latenza e il consumo energetico su acceleratori sensibili alla sparsità, ma potrebbero non trasferirsi su hardware senza esecuzione dipendente dalla sparsità.

6. Equivalenza eseguibile.
   L'offuscamento del modello deve ancora preservare la funzione di predizione originale durante l'inferenza autorizzata. Questa equivalenza eseguibile può esporre stati runtime recuperabili, pesi trasformati, semantica degli operatori o tracce strutturali che consentono il recupero semantico, strutturale o dei parametri.

7. Applicazione lato client.
   L'autorizzazione del modello vincola l'inferenza corretta a credenziali, controlli di integrità e recupero dei pesi impacchettati. Tuttavia, questi controlli devono essere eseguiti all'interno dello stack mobile, rendendo l'applicazione dipendente dal codice lato client che può essere sottoposto a reverse engineering, reimpacchettato, hook o strumentato dopo la distribuzione.

8. Fattibilità della distribuzione TEE.
   Le difese basate su TEE richiedono supporto coordinato tra formati di modello, framework AI, librerie di operatori, delegate, acceleratori e interfacce di isolamento CPU/GPU/NPU. Gli attuali ecosistemi mobili mancano ancora di stack di inferenza supportati da TEE ampiamente adottati e trasparenti per gli sviluppatori.

9. Robustezza della filigrana.
   La filigrana del modello consente la verifica della proprietà post-distribuzione, ma i modelli rubati possono essere ridistribuiti tramite conversione di framework, crittografia o mediazione input-output a livello di app. Queste trasformazioni possono preservare l'inferenza benigna interrompendo al contempo le risposte ai trigger, i pattern di confidenza o la semantica di output utilizzati per la verifica.

Direzioni emergenti

Oltre ai nove problemi aperti sopra, il nostro SoK evidenzia tre direzioni emergenti in cui è probabile che la sicurezza MoAI si espanda in futuro. Queste direzioni spostano la ricerca sulla sicurezza MoAI verso una valutazione sistematica, estendendone al contempo l'ambito alle superfici di attacco emergenti introdotte dal training on-device e dai sistemi MoAI agentici. Le riassumiamo qui ad alto livello. L'articolo di accompagnamento fornisce motivazioni più dettagliate, superfici di minaccia e sfide di ricerca.

Gli studi esistenti sulla sicurezza MoAI valutano attacchi e difese utilizzando dataset auto-raccolti, metriche specifiche del metodo e diversi modelli di minaccia, e sono tipicamente limitati a una singola piattaforma (Android o iOS). Ciò rende i risultati della valutazione difficili da confrontare e trascura le differenze specifiche della piattaforma. Il lavoro futuro dovrebbe stabilire benchmark unificati che standardizzino dataset, metriche e modelli di minaccia e supportino la valutazione cross-platform per una valutazione sistematica, comparabile e riproducibile della sicurezza MoAI.

La ricerca attuale sulla sicurezza MoAI si concentra principalmente su modelli distribuiti di sola lettura e solo inferenza. Il training on-device cambia questa ipotesi consentendo l'aggiornamento locale dei modelli, esponendo gradienti, aggiornamenti dei parametri e dati utente durante il processo di training. Ciò apre nuove domande su fine-tuning locale, integrità degli aggiornamenti, esposizione dei dati di training, poisoning della personalizzazione e difese per gli stati di training sui dispositivi degli utenti finali.

I sistemi MoAI si stanno evolvendo dall'inferenza locale passiva verso flussi di lavoro agentici che collegano i modelli a sensori, dati utente privati, contesti delle app, servizi del sistema operativo e interfacce cross-app. Ciò sposta il focus della sicurezza dalla sola protezione degli artefatti del modello al governo delle catene contesto-azione. Il lavoro futuro dovrebbe studiare la provenienza per il contesto mobile, la separazione dell'intento utente fidato dal contenuto ambientale non fidato, le autorizzazioni con ambito di attività per l'uso di strumenti e API, la conferma e il rollback per azioni sensibili e l'audit di piani, memoria e azioni dell'agente.