Awesome Segurança de IA On-Device para Dispositivos Móveis

SoK: Panorama de Ataques e Defesas em Sistemas de IA On-device para Dispositivos Móveis

Os sistemas de IA on-device para dispositivos móveis executam modelos de IA localmente por meio de frameworks de ML como LiteRT/TFLite, Core ML, ExecuTorch, ONNX e aceleradores baseados em hardware. Este repositório acompanha a pesquisa de segurança necessária para entender e proteger tais sistemas, uma vez que o armazenamento local de modelos on-device introduz novos riscos de segurança.

Visão geral de um sistema de IA on-device para dispositivos móveis

Roteiro de leitura

Novo na segurança MoAI? Comece aqui:

Entenda o ecossistema. Leia estudos empíricos sobre aplicativos de deep learning e modelos on-device em aplicativos Android/iOS.
Aprenda o risco central. Estude artigos sobre extração de modelos e proteção de modelos, pois a residência local de modelos é a principal mudança de segurança nos sistemas MoAI.
Entenda as superfícies de ataque. Estude como os ataques MoAI surgem nas interfaces de entrada, artefatos de modelos, execução em tempo de execução e ambientes baseados em hardware.
Conecte as defesas às superfícies. Examine como as defesas MoAI protegem essas superfícies nas fases de pré-implantação, execução em tempo de execução e pós-implantação.
Olhe para o futuro. Explore novos desafios de segurança no treinamento on-device, GenAI on-device e sistemas MoAI agênticos.

• A First Look at Deep Learning Apps on Smartphones
• A First Look at On-device Models in iOS Apps

• Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
• ShadowNet: A Secure and Efficient On-device Model Inference System
• THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomia em resumo

Pilar de segurança MoAI	O que protege	Ataques representativos	Defesas representativas
Integridade de entrada governada pelo usuário	A integridade de ponta a ponta das entradas do usuário, desde a aquisição de dados móveis até a entrega ao modelo	Ataques adversariais, Ataques de backdoor, Ataques de energia-latência	-
Segurança do modelo residente no dispositivo	Artefatos de modelos implantados e todas as formas pós-implantação nas quais os modelos são armazenados, carregados, transformados ou materializados nos dispositivos	Ataques adversariais, Ataques de backdoor, Ataques adversariais a pesos, Ataques de roubo de modelos, Ataques de energia-latência	Ofuscação de modelos, Autorização de modelos, TEE, Marca d'água em modelos
Confinamento do ambiente nativo do dispositivo	Computação de inferência sensível e estados de tempo de execução no SO móvel, runtime de IA, subsistema de memória e ambientes de execução baseados em hardware	Ataques de roubo de modelos, Ataques de energia-latência	Ofuscação de modelos, TEE

Análise de segurança entre pilares

Análise de segurança entre pilares de ataques e problemas em aberto em sistemas MoAI.

Ataques a sistemas MoAI

Exploração de similaridade de modelos

Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Código]
_{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}
Smart App Attack: Hacking Deep Learning Models in Android Apps [Código]
_{IEEE Transactions on Information Forensics and Security (TIFS 2022)}
Understanding Real-world Threats to Deep Learning Models in Android Apps [Código]
_{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}
Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
_{Journal of Software: Evolution and Process (JSEP 2024)}
A First Look at On-device Models in iOS Apps [Código]
_{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Reconstrução de gradientes

Investigating White-Box Attacks for On-Device Models [Código]
_{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}
TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Código]
_{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Defesas para sistemas MoAI

Ocultação em nível de software

ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Código]
_{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}
DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Código]
_{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}
Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Código]
_{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Ocultação em nível de hardware

NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Código]
_{International Conference on Machine Learning (ICML 2023)}
A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
_{Scientific Reports (Sci. Rep. 2025)}
Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Código]
_{Annual Computer Security Applications Conference (ACSAC 2025)}

MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Código]
_{IEEE Security and Privacy Workshops (SPW 2021)}
Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Código]
_{Annual Computer Security Applications Conference (ACSAC 2025)}

Execução monolítica

Offline Model Guard: Secure and Private ML on Mobile Devices
_{Design, Automation and Test in Europe Conference (DATE 2020)}
GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
_{ACM/IFIP International Middleware Conference (Middleware 2022)}
Secure and Efficient Mobile DNN Using Trusted Execution Environments
_{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}
T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
_{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}
LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
_{IEEE Transactions on Mobile Computing (TMC 2022)}
ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Código]
_{Network and Distributed System Security Symposium (NDSS 2025)}
TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Código]
_{European Conference on Computer Systems (EuroSys 2026)}
FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
_{arXiv preprint (arXiv 2026)}

Execução particionada

DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Código]
_{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}
HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Código]
_{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: Estrutura de Inferência de Aprendizado Profundo Segura e de Alto Desempenho On-Device para Dispositivos Móveis e IoT
_{Conferência Internacional sobre Design e Implementação de Internet das Coisas (IoTDI 2021)}
ShadowNet: Um Sistema de Inferência de Modelo On-Device Seguro e Eficiente para Redes Neurais Convolucionais [Código]
_{Simpósio IEEE sobre Segurança e Privacidade (S&P 2023)}
MirrorNet: Uma Estrutura Amigável a TEE para Inferência Segura de DNN On-Device
_{Conferência Internacional IEEE/ACM sobre Computer-Aided Design (ICCAD 2023)}
TSQP: Protegendo Inferência em Tempo Real para Redes Neurais Quantizadas em Dispositivos de Borda [Código]
_{Simpósio IEEE sobre Segurança e Privacidade (S&P 2025)}
TEESlice: Protegendo Modelos de Redes Neurais Sensíveis em Ambientes de Execução Confiáveis Quando Atacantes Possuem Modelos Pré-Treinados
_{ACM Transactions on Software Engineering and Methodology (TOSEM 2025)}
TensorShield: Protegendo Inferência On-Device ao Blindar Tensores Críticos de DNN com TEE [Código]
_{Conferência ACM SIGSAC sobre Segurança de Computadores e Comunicações (CCS 2025)}

Offloading Ofuscado

GroupCover: Uma Estrutura de Inferência Segura, Eficiente e Escalável para Proteção de Modelos On-Device Baseada em TEEs [Código]
_{Conferência Internacional sobre Aprendizado de Máquina (ICML 2024)}
Game of Arrows: Sobre a (In-)Segurança da Ofuscação de Pesos para Algoritmos de Particionamento de LLM Protegidos por TEE On-Device [Código]
_{Simpósio de Segurança USENIX (USENIX Security 2025)}
MirageNet: Uma Proteção de Modelo On-Device Segura, Eficiente e Escalável em Sistema Heterogêneo de TEE e GPU
_{Pré-impressão arXiv (arXiv 2026)}

THEMIS: Rumo à Proteção Prática de Propriedade Intelectual para Modelos de Aprendizado Profundo On-Device Pós-Implantação [Código]
_{Simpósio de Segurança USENIX (USENIX Security 2025)}

Problemas em aberto

Os seguintes problemas em aberto resumem as principais lacunas de pesquisa identificadas em nosso SoK. Mantemos as descrições aqui em alto nível para os leitores que usam este repositório. Discussões mais técnicas podem ser encontradas no artigo.

Praticidade de Implantação de Ataques.
Ataques adversariais contra modelos on-device permanecem difíceis de realizar após a implantação, pois frequentemente exigem controle sobre as entradas do modelo, inserção de perturbações adversariais ou reempacotamento do aplicativo para modificar o código de pré-processamento. Essas etapas podem ser impraticáveis ou detectáveis em implantações reais de usuários finais.
Modificação Furtiva de Modelo.
Ataques de backdoor precisam encontrar pontos de entrada pós-implantação além do envenenamento padrão em tempo de treinamento, pois modelos on-device são tipicamente somente leitura e somente inferência. O principal desafio é introduzir comportamento malicioso oculto sem produzir alterações observáveis nos artefatos do modelo.
Localização Precisa de Pesos.
Ataques adversariais a pesos expõem um risco de integridade em nível de parâmetro, mas a implantação prática depende da localização de pesos críticos para o comportamento no grande espaço de busca de parâmetros. Isso é difícil porque os atacantes frequentemente carecem de orientação por gradiente e precisam preservar a utilidade benigna enquanto modificam apenas parâmetros selecionados.
Extração Confiável de Modelo.
O armazenamento local de modelos não torna a extração de modelos simples. A extração prática ainda depende de identificação, descriptografia e reconstrução confiáveis do modelo na presença de algoritmos de criptografia personalizados, estruturas de IA não padronizadas e comportamento de carregamento específico do runtime.
Heterogeneidade de Hardware.
Ataques de energia-latência dependem de como padrões de ativação envenenados interagem com o comportamento de execução específico do dispositivo. Eles podem amplificar a latência e o consumo de energia em aceleradores sensíveis à esparsidade, mas falham em transferir para hardware sem execução dependente de esparsidade.

Equivalência Executável.
A ofuscação de modelos ainda precisa preservar a função de predição original durante a inferência autorizada. Essa equivalência executável pode expor estados de runtime recuperáveis, pesos transformados, semântica de operadores ou rastros estruturais que permitem recuperação semântica, estrutural ou de parâmetros.
Aplicação no Lado do Cliente.
A autorização de modelos vincula a inferência correta a credenciais, verificações de integridade e recuperação de pesos empacotados. No entanto, essas verificações precisam ser executadas dentro da pilha móvel, tornando a aplicação dependente de código no lado do cliente que pode ser submetido a engenharia reversa, reempacotamento, hooking ou instrumentação após a implantação.
Viabilidade de Implantação de TEE.
As defesas baseadas em TEE exigem suporte coordenado entre formatos de modelo, estruturas de IA, bibliotecas de operadores, delegados, aceleradores e interfaces de isolamento CPU/GPU/NPU. Os ecossistemas móveis atuais ainda carecem de pilhas de inferência com suporte a TEE amplamente adotadas e transparentes para o desenvolvedor.
Robustez de Marca d'Água.
A marca d'água de modelos permite verificação de propriedade pós-implantação, mas modelos roubados podem ser reimplantados por meio de conversão de estrutura, criptografia ou mediação de entrada-saída em nível de aplicativo. Essas transformações podem preservar a inferência benigna enquanto interrompem respostas a gatilhos, padrões de confiança ou semântica de saída usados para verificação.

Direções emergentes

Além dos nove problemas em aberto acima, nosso SoK destaca três direções emergentes nas quais a segurança de MoAI provavelmente se expandirá a seguir. Essas direções movem a pesquisa de segurança de MoAI em direção à avaliação sistemática, ao mesmo tempo em que estendem seu escopo às superfícies de ataque emergentes introduzidas pelo treinamento on-device e pelos sistemas MoAI agênticos. Nós as resumimos aqui em alto nível. O artigo complementar fornece motivação mais detalhada, superfícies de ameaça e desafios de pesquisa.

Os estudos existentes de segurança de MoAI avaliam ataques e defesas usando conjuntos de dados coletados por conta própria, métricas específicas de método e diferentes modelos de ameaça, e são tipicamente limitados a uma única plataforma (Android ou iOS). Isso torna os resultados de avaliação difíceis de comparar e ignora diferenças específicas de plataforma. Trabalhos futuros devem estabelecer benchmarks unificados que padronizem conjuntos de dados, métricas e modelos de ameaça e apoiem avaliação multiplataforma para avaliação sistemática, comparável e reproduzível da segurança de MoAI.

A pesquisa atual de segurança de MoAI concentra-se principalmente em modelos implantados que são somente leitura e somente inferência. O treinamento on-device muda essa suposição ao permitir que os modelos sejam atualizados localmente, o que expõe gradientes, atualizações de parâmetros e dados do usuário durante o processo de treinamento. Isso abre novas questões em torno de ajuste fino local, integridade de atualizações, exposição de dados de treinamento, envenenamento de personalização e defesas para estados em tempo de treinamento em dispositivos de usuários finais.

Os sistemas MoAI estão evoluindo de inferência local passiva para fluxos de trabalho agênticos que conectam modelos a sensores, dados privados do usuário, contextos de aplicativos, serviços de SO e interfaces entre aplicativos. Isso desloca o foco de segurança de proteger apenas artefatos de modelo para governar cadeias de contexto-ação. Trabalhos futuros devem estudar proveniência para contexto móvel, separação de intenção confiável do usuário de conteúdo ambiental não confiável, permissões com escopo de tarefa para uso de ferramentas e APIs, confirmação e reversão para ações sensíveis e auditoria de planos, memória e ações do agente.

Ler mais

Awesome-MoAI-Security — Updated!

Categorias