Awesome Segurança de IA Móvel no Dispositivo

SoK: Cenário de Ataques e Defesas de Sistemas de IA Móveis no Dispositivo

Yujin Huang, Xin Zheng, Xingliang Yuan, Kwok-Yan Lam

Sistemas de IA móveis no dispositivo executam modelos de IA localmente por meio de frameworks de ML como LiteRT/TFLite, Core ML, ExecuTorch, ONNX e aceleradores suportados por hardware. Este repositório acompanha a pesquisa de segurança necessária para entender e proteger tais sistemas, uma vez que o armazenamento local de modelos no dispositivo introduz novos riscos de segurança.

Visão Geral de um Sistema de IA Móvel no Dispositivo

Conteúdo

• Roteiro de leitura
• Taxonomia de relance
• Análise de Segurança entre Pilares
• Ataques a sistemas MoAI
  • Ataques Adversariais
    • Exploração de Similaridade de Modelo
    • Reconstrução de Gradiente
    • Manipulação de Pré-processamento
  • Ataques de Porta dos Fundos
    • Injeção de Payload
    • Quantização de Modelo
    • Esteganografia de Imagem
  • Ataques de Peso Adversarial
  • Ataques de Roubo de Modelo
    • Análise Estática
    • Análise Dinâmica
    • Canal Lateral
  • Ataques de Energia-latência
• Defesas para sistemas MoAI
  • Ofuscação de Modelo
    • Ocultação em Nível de Software
    • Ocultação em Nível de Hardware
  • Autorização de Modelo
  • Ambientes de Execução Confiáveis
    • Execução Monolítica
    • Execução Particionada
    • Descarregamento Ofuscado
  • Marca d'Água de Modelo
• Problemas em aberto
• Direções emergentes

Roteiro de leitura

Novato em segurança MoAI? Comece aqui:

1. Entenda o ecossistema. Leia estudos empíricos sobre aplicativos de aprendizado profundo e modelos no dispositivo em aplicativos Android/iOS.
2. Aprenda o risco central. Estude artigos sobre extração de modelo e proteção de modelo, porque a residência local do modelo é a mudança central de segurança nos sistemas MoAI.
3. Entenda as superfícies de ataque. Estude como os ataques MoAI surgem através de interfaces de entrada, artefatos de modelo, execução em tempo de execução e ambientes suportados por hardware.
4. Conecte as defesas às superfícies. Examine como as defesas MoAI protegem essas superfícies nas fases de pré-implantação, execução em tempo de execução e pós-implantação.
5. Olhe para frente. Explore novos desafios de segurança no treinamento no dispositivo, GenAI no dispositivo e sistemas MoAI agentes.

•  Um Primeiro Olhar sobre Aplicativos de Aprendizado Profundo em Smartphones
•  Um Primeiro Olhar sobre Modelos no Dispositivo em Aplicativos iOS

•  Cuidado com seus Pesos: Um Estudo em Grande Escala sobre Proteção Insuficiente de Modelos de ML em Aplicativos Móveis

•  Robustez de Modelos no Dispositivo: Ataque Adversarial a Modelos de Aprendizado Profundo em Aplicativos Android
•  DeepPayload: Ataque de Porta dos Fundos de Caixa-Preta a Modelos de Aprendizado Profundo através de Injeção de Payload Neural
•  Typhon Desencadeado: Ataques de Peso Adversarial Práticos Contra Modelos de Aprendizado Profundo no Dispositivo
•  Ataques de Energia-Latência a Redes Neurais no Dispositivo via Envenenamento Esponja

•  ModelObfuscator: Ofuscando Informação de Modelo para Proteger Sistemas Baseados em ML Implantados
•  ShadowNet: Um Sistema de Inferência de Modelo no Dispositivo Seguro e Eficiente
•  THEMIS: Rumo à Proteção de PI Prática para Modelos DL no Dispositivo Pós-Implantação

Taxonomia de relance

Análise de Segurança entre Pilares

Ataques a sistemas MoAI

Exploração de Similaridade de Modelo

• Robustez de Modelos no Dispositivo: Ataque Adversarial a Modelos de Aprendizado Profundo em Aplicativos Android [Código]
  _{Conferência Internacional IEEE/ACM de Engenharia de Software: Engenharia de Software na Prática (ICSE-SEIP 2021)}

• Ataque Smart App: Hackeando Modelos de Aprendizado Profundo em Aplicativos Android [Código]
  _{Transações IEEE em Segurança da Informação e Forense (TIFS 2022)}

• Entendendo Ameaças do Mundo Real a Modelos de Aprendizado Profundo em Aplicativos Android [Código]
  _{Conferência ACM SIGSAC sobre Segurança de Computadores e Comunicações (CCS 2022)}

• Trapaceando seus Aplicativos: Ataques Adversariais de Caixa-Preta em Aplicativos de Aprendizado Profundo
  _{Jornal de Software: Evolução e Processo (JSEP 2024)}

• Um Primeiro Olhar sobre Modelos no Dispositivo em Aplicativos iOS [Código]
  _{Transações ACM em Engenharia de Software e Metodologia (TOSEM 2024)}

Reconstrução de Gradiente

• Investigando Ataques de Caixa-Branca para Modelos no Dispositivo [Código]
  _{Conferência Internacional IEEE/ACM de Engenharia de Software (ICSE 2024)}

• TIM: Permitindo Testes de Caixa-Branca em Grande Escala em Modelos de Aprendizado Profundo em Aplicativos [Código]
  _{Transações IEEE em Segurança da Informação e Forense (TIFS 2024)}

Manipulação de Pré-processamento

• Além do Modelo: Ataque de Pré-processamento de Dados a Modelos de Aprendizado Profundo em Aplicativos Android [Código]
  _{Workshop sobre Sistemas de Aprendizado Profundo Seguros e Confiáveis (SecTL 2023)}

Injeção de Payload

• DeepPayload: Ataque de Porta dos Fundos de Caixa-Preta a Modelos de Aprendizado Profundo através de Injeção de Payload Neural [Código]
  _{Conferência Internacional IEEE/ACM de Engenharia de Software (ICSE 2021)}

• MalModel: Escondendo Payload Malicioso em Modelos de Aprendizado Profundo Móveis com Ataque de Porta dos Fundos de Caixa-Preta [Código]
  _{Engenharia de Software Automatizada (ASEJ 2026)}

Quantização de Modelo

• Portas dos Fundos de Quantização para Frameworks Comerciais de Aprendizado Profundo [Código]
  _{Transações IEEE em Computação Confiável e Segura (TDSC 2024)}

Esteganografia de Imagem

• Ataque de Porta dos Fundos Sorrateiro a Modelos do Mundo Real em Aplicativos Android
  _{Pré-impressão arXiv (arXiv 2025)}

• Typhon Desencadeado: Ataques de Peso Adversarial Práticos Contra Modelos de Aprendizado Profundo no Dispositivo
  _{Transações IEEE em Computação Confiável e Segura (TDSC 2026)}

Análise Estática

• Um Primeiro Olhar sobre Aplicativos de Aprendizado Profundo em Smartphones [Código]
  _{Conferência Mundial Wide Web (WWW 2019)}

• Um Primeiro Olhar sobre Modelos no Dispositivo em Aplicativos iOS [Código]
  _{Transações ACM em Engenharia de Software e Metodologia (TOSEM 2023)}

• Cuidado com seus Pesos: Um Estudo em Grande Escala sobre Proteção Insuficiente de Modelos de Aprendizado de Máquina em Aplicativos Móveis [Código]
  _{Simpósio de Segurança USENIX (USENIX Security 2021)}

• REDLC: Engenharia Reversa Orientada por Aprendizado para Compiladores de Aprendizado Profundo
  _{Simpósio Internacional IEEE sobre Confiabilidade de Engenharia de Software (ISSRE 2024)}

Análise Dinâmica

• Cuidado com seus Pesos: Um Estudo em Grande Escala sobre Proteção Insuficiente de Modelos de Aprendizado de Máquina em Aplicativos Móveis [Código]
  _{Simpósio de Segurança USENIX (USENIX Security 2021)}

• Entendendo Ameaças do Mundo Real a Modelos de Aprendizado Profundo em Aplicativos Android [Código]
  _{Conferência ACM SIGSAC sobre Segurança de Computadores e Comunicações (CCS 2022)}

• DeMistify: Identificando Vulnerabilidades de Roubo e Reutilização de Modelos de Aprendizado de Máquina no Dispositivo em Aplicativos Móveis [Código]
  _{Conferência Internacional IEEE/ACM de Engenharia de Software (ICSE 2024)}

• Jogo de Flechas: Sobre a (In)Segurança da Ofuscação de Pesos para Algoritmos de Partição de LLM Protegidos por TEE no Dispositivo [Código]
  _{Simpósio de Segurança USENIX (USENIX Security 2025)}

Canal Lateral

• Ataque de Extração de Modelo contra Aprendizado Profundo no Dispositivo com Canal Lateral de Potência
  _{Simpósio Internacional IEEE sobre Design Eletrônico de Qualidade (ISQED 2024)}

• DeepCache: Revisitando Ataques de Canal Lateral de Cache em Executáveis de Redes Neurais Profundas
  _{Conferência ACM SIGSAC sobre Segurança de Computadores e Comunicações (CCS 2024)}

• Ataques de Energia-Latência a Redes Neurais no Dispositivo via Envenenamento Esponja
  _{Workshop sobre Sistemas de Aprendizado Profundo Seguros e Confiáveis (SecTL 2023)}

Defesas para sistemas MoAI

Ocultação em Nível de Software

• ModelObfuscator: Ofuscando Informação de Modelo para Proteger Sistemas Baseados em ML Implantados [Código]
  _{Simpósio Internacional ACM SIGSOFT sobre Teste e Análise de Software (ISSTA 2023)}

• DynaMO: Protegendo Modelos DL Móveis através de Operadores DL Ofuscados Acoplados [Código]
  _{Conferência Internacional IEEE/ACM sobre Engenharia de Software Automatizada (ASE 2024)}

• Sem Modelo é o Melhor Modelo: Gerando Implementações de Código Puro para Substituir Modelos DL no Dispositivo [Código]
  _{Simpósio Internacional ACM SIGSOFT sobre Teste e Análise de Software (ISSTA 2024)}

Ocultação em Nível de Hardware

• NNSplitter: Uma Solução de Defesa Ativa para Modelos DNN via Ofuscação Automatizada de Pesos [Código]
  _{Conferência Internacional sobre Aprendizado de Máquina (ICML 2023)}

• Um Novo Método de Ofuscação Baseado em Lógica Majoritária para Prevenir Acesso Não Autorizado a Redes Neurais Profundas Binárias
  _{Relatórios Científicos (Sci. Rep. 2025)}

• Protegendo Transformador no Dispositivo com Vinculação de Hardware e Ofuscação Reversível [Código]
  _{Conferência Anual de Aplicações de Segurança de Computadores (ACSAC 2025)}

• MMGuard: Protegendo Automaticamente Modelos de Aprendizado Profundo no Dispositivo em Aplicativos Android [Código]
  _{Oficinas de Segurança e Privacidade IEEE (SPW 2021)}

• Protegendo Transformador no Dispositivo com Vinculação de Hardware e Ofuscação Reversível [Código]
  _{Conferência Anual de Aplicações de Segurança de Computadores (ACSAC 2025)}

Execução Monolítica

• Offline Model Guard: ML Seguro e Privado em Dispositivos Móveis
  _{Conferência Europeia de Design, Automação e Teste (DATE 2020)}

• GuardiaNN: Inferência no Dispositivo Rápida e Segura no TrustZone Usando SRAM Embutida e Hardware Criptográfico
  _{Conferência de Middleware ACM/IFIP (Middleware 2022)}

• DNN Móvel Seguro e Eficiente Usando Ambientes de Execução Confiáveis
  _{Conferência ACM Ásia sobre Segurança de Computadores e Comunicações (AsiaCCS 2023)}

• T-Slices: Execução Confidencial de Inferência de Aprendizado Profundo na Borda Não Confiável com Arm TrustZone
  _{Conferência ACM sobre Segurança e Privacidade de Dados e Aplicações (CODASPY 2023)}

• LEAP: TEE Amigável ao Desenvolvedor Baseado em TrustZone para Aplicativos Móveis Inteligentes
  _{Transações IEEE em Computação Móvel (TMC 2022)}

• ASGARD: Protegendo Redes Neurais Profundas no Dispositivo com Ambientes de Execução Confiáveis Baseados em Virtualização [Código]
  _{Simpósio de Segurança de Sistemas de Rede e Distribuídos (NDSS 2025)}

• TZ-LLM: Protegendo Modelos de Linguagem Grandes no Dispositivo com Arm TrustZone [Código]
  _{Conferência Europeia sobre Sistemas de Computadores (EuroSys 2026)}

• FlexServe: Um Sistema de Serviço de LLM Rápido e Seguro para Dispositivos Móveis com Isolamento Flexível de Recursos
  _{Pré-impressão arXiv (arXiv 2026)}

Execução Particionada

• DarkneTZ: Rumo à Privacidade de Modelo na Borda Usando Ambientes de Execução Confiáveis [Código]
  _{Conferência Internacional Anual sobre Sistemas, Aplicações e Serviços Móveis (MobiSys 2020)}

• HybridTEE: Execução Segura de DNN Móvel Usando Ambiente de Execução Confiável Híbrido [Código]
  _{Simpósio Asiático de Segurança e Confiança Orientada a Hardware (AsianHOST 2020)}- SecDeep: Framework de Inferência de Aprendizado Profundo Seguro e Eficiente em Dispositivos para Dispositivos Móveis e IoT
  _{Conferência Internacional sobre Projeto e Implementação de Internet das Coisas (IoTDI 2021)}

• ShadowNet: Um Sistema de Inferência de Modelo Seguro e Eficiente em Dispositivo para Redes Neurais Convolucionais [Código]
  _{Simpósio IEEE sobre Segurança e Privacidade (S&P 2023)}

• MirrorNet: Um Framework Amigável a TEE para Inferência Segura de DNN em Dispositivo
  _{Conferência Internacional IEEE/ACM sobre Projeto Assistido por Computador (ICCAD 2023)}

• TSQP: Protegendo Inferência em Tempo Real para Redes Neurais Quantizadas em Dispositivos de Borda [Código]
  _{Simpósio IEEE sobre Segurança e Privacidade (S&P 2025)}

• TEESlice: Protegendo Modelos de Redes Neurais Sensíveis em Ambientes de Execução Confiável Quando Atacantes Têm Modelos Pré-Treinados
  _{Transações ACM em Engenharia e Metodologia de Software (TOSEM 2025)}

• TensorShield: Protegendo Inferência em Dispositivo Através da Blindagem de Tensores Críticos de DNN com TEE []

Ofuscação de Offloading

• GroupCover: Um Framework de Inferência Seguro, Eficiente e Escalável para Proteção de Modelo em Dispositivo Baseado em TEEs [Código]
  _{Conferência Internacional sobre Aprendizado de Máquina (ICML 2024)}

• Game of Arrows: Sobre a (In-)Segurança da Ofuscação de Pesos para Algoritmos de Particionamento de LLM em Dispositivo Protegidos por TEE [Código]
  _{Simpósio de Segurança USENIX (USENIX Security 2025)}

• MirageNet: Um Sistema Seguro, Eficiente e Escalável de Proteção de Modelo em Dispositivo em Sistema Heterogêneo de TEE e GPU
  _{Pré-impressão arXiv (arXiv 2026)}

• THEMIS: Rumo à Proteção Prática de Propriedade Intelectual para Modelos de Aprendizado Profundo em Dispositivo Pós-Implantação [Código]
  _{Simpósio de Segurança USENIX (USENIX Security 2025)}

Problemas em aberto

Os seguintes problemas em aberto resumem as principais lacunas de pesquisa identificadas em nosso SoK. Mantemos as descrições aqui em alto nível para os leitores que utilizam este repositório. Discussões mais técnicas podem ser encontradas no artigo.

1. Praticidade de Implantação de Ataques.
   Ataques adversariais contra modelos em dispositivo continuam difíceis de realizar após a implantação, pois frequentemente exigem controle sobre as entradas do modelo, inserção de perturbações adversariais ou reempacotamento do aplicativo para modificar o código de pré-processamento. Essas etapas podem ser impraticáveis ou detectáveis em implantações reais com usuários finais.

2. Modificação Furtiva de Modelo.
   Ataques de backdoor precisam encontrar pontos de entrada pós-implantação além do envenenamento padrão em tempo de treinamento, pois os modelos em dispositivo são tipicamente somente leitura e apenas para inferência. O principal desafio é introduzir comportamento malicioso oculto sem produzir alterações observáveis nos artefatos do modelo.

3. Localização Precisa de Pesos.
   Ataques adversariais a pesos expõem um risco de integridade no nível dos parâmetros, mas a implantação prática depende de localizar pesos críticos para o comportamento no grande espaço de busca de parâmetros. Isso é difícil porque os atacantes frequentemente carecem de orientação de gradiente e precisam preservar a utilidade benigna enquanto modificam apenas parâmetros selecionados.

4. Extração Confiável de Modelo.
   O armazenamento local do modelo não torna a extração do modelo simples. A extração prática ainda depende de identificação, descriptografia e reconstrução confiáveis do modelo na presença de algoritmos de criptografia personalizados, frameworks de IA não padronizados e comportamento de carregamento específico de tempo de execução.

5. Heterogeneidade de Hardware.
   Ataques de energia-latência dependem de como os padrões de ativação envenenados interagem com o comportamento de execução específico do dispositivo. Eles podem amplificar a latência e o consumo de energia em aceleradores sensíveis a esparsidade, mas falham ao transferir para hardware sem execução dependente de esparsidade.

6. Equivalência Executável.
   A ofuscação de modelos ainda precisa preservar a função de predição original durante a inferência autorizada. Essa equivalência executável pode expor estados de tempo de execução recuperáveis, pesos transformados, semânticas de operadores ou traços estruturais que permitem recuperação semântica, estrutural ou de parâmetros.

7. Imposição no Lado do Cliente.
   A autorização de modelo vincula a inferência correta a credenciais, verificações de integridade e recuperação de pesos empacotados. No entanto, essas verificações precisam ser executadas dentro da pilha móvel, tornando a imposição dependente de código do lado do cliente que pode ser submetido a engenharia reversa, reempacotamento, hooking ou instrumentação após a implantação.

8. Viabilidade de Implantação de TEE.
   Defesas baseadas em TEE exigem suporte coordenado entre formatos de modelo, frameworks de IA, bibliotecas de operadores, delegados, aceleradores e interfaces de isolamento CPU/GPU/NPU. Os ecossistemas móveis atuais ainda carecem de pilhas de inferência com suporte a TEE amplamente adotadas e transparentes para o desenvolvedor.

9. Robustez de Marca D'Água.
   A marca d'água de modelos permite verificação de propriedade pós-implantação, mas modelos roubados podem ser reimplantados através de conversão de framework, criptografia ou mediação entrada-saída no nível do aplicativo. Essas transformações podem preservar a inferência benigna enquanto interrompem as respostas a gatilhos, padrões de confiança ou semânticas de saída usadas para verificação.

Direções emergentes

Além dos nove problemas em aberto acima, nosso SoK destaca três direções emergentes nas quais a segurança do MoAI provavelmente se expandirá a seguir. Essas direções vão além dos modelos estáticos e apenas de inferência em dispositivo, em direção a sistemas MoAI adaptativos, generativos e orientados a ação. Nós as resumimos aqui em alto nível. O artigo complementar fornece motivação, superfícies de ameaça e desafios de pesquisa mais detalhados.

A pesquisa atual em segurança MoAI concentra-se principalmente em modelos implantados que são somente leitura e apenas para inferência. O treinamento em dispositivo muda essa premissa ao permitir que os modelos sejam atualizados localmente, o que expõe gradientes, atualizações de parâmetros e dados do usuário durante o processo de treinamento. Isso abre novas questões em torno de ajuste fino local, integridade de atualizações, exposição de dados de treinamento, envenenamento de personalização e defesas para estados de tempo de treinamento em dispositivos de usuário final.

Os estudos existentes de segurança MoAI ainda estão amplamente centrados em tarefas baseadas em visão, como classificação de imagens. À medida que LLMs e modelos generativos migram para smartphones, a segurança MoAI deve se expandir para sistemas orientados por prompts e geradores de conteúdo. Desafios importantes incluem injeção de prompts, jailbreaks, divulgação não intencional de informações e vazamento de contexto local para LLM em dispositivo.

Os sistemas MoAI estão evoluindo de inferência local passiva para fluxos de trabalho agentivos que conectam modelos a sensores, dados privados do usuário, contextos de aplicativos, serviços do sistema operacional e interfaces entre aplicativos. Isso desloca o foco de segurança da proteção apenas dos artefatos do modelo para a governança das cadeias contexto-ação. Trabalhos futuros devem estudar proveniência para contexto móvel, separação da intenção confiável do usuário do conteúdo ambiental não confiável, permissões com escopo de tarefa para uso de ferramentas e APIs, confirmação e reversão para ações sensíveis, e auditoria de planos, memória e ações do agente.

@misc{huang2026moaisecurity, title = {SoK: Attack and Defense Landscape of Mobile On-device AI Systems}, author = {Huang, Yujin and Zheng, Xin and Yuan, Xingliang and Lam, Kwok-Yan}, year = {2026}, note = {Companion resources: https://github.com/Jinxhy/Awesome-MoAI-Security}, url = {https://github.com/Jinxhy/Awesome-MoAI-Security} }