Awesome Segurança de IA On-Device para Dispositivos Móveis

SoK: Panorama de Ataques e Defesas em Sistemas de IA On-device para Dispositivos Móveis

Os sistemas de IA on-device para dispositivos móveis executam modelos de IA localmente por meio de frameworks de ML como LiteRT/TFLite, Core ML, ExecuTorch, ONNX e aceleradores baseados em hardware. Este repositório acompanha a pesquisa de segurança necessária para entender e proteger tais sistemas, uma vez que o armazenamento local de modelos on-device introduz novos riscos de segurança.

Visão geral de um sistema de IA on-device para dispositivos móveis

Conteúdo

• Roteiro de leitura
• Taxonomia em resumo
• Análise de segurança entre pilares
• Ataques a sistemas MoAI
  • Ataques adversariais
    • Exploração de similaridade de modelos
    • Reconstrução de gradientes
    • Manipulação de pré-processamento
  • Ataques de backdoor
    • Injeção de payload
    • Quantização de modelos
    • Esteganografia de imagens
  • Ataques adversariais a pesos
  • Ataques de roubo de modelos
    • Análise estática
    • Análise dinâmica
    • Canais laterais
  • Ataques de energia-latência
• Defesas para sistemas MoAI
  • Ofuscação de modelos
    • Ocultação em nível de software
    • Ocultação em nível de hardware
  • Autorização de modelos
  • Ambientes de execução confiáveis
    • Execução monolítica
    • Execução particionada
    • Descarregamento ofuscado
  • Marca d'água em modelos
• Problemas em aberto
• Direções emergentes

Roteiro de leitura

Novo na segurança MoAI? Comece aqui:

1. Entenda o ecossistema. Leia estudos empíricos sobre aplicativos de deep learning e modelos on-device em aplicativos Android/iOS.
2. Aprenda o risco central. Estude artigos sobre extração de modelos e proteção de modelos, pois a residência local de modelos é a principal mudança de segurança nos sistemas MoAI.
3. Entenda as superfícies de ataque. Estude como os ataques MoAI surgem nas interfaces de entrada, artefatos de modelos, execução em tempo de execução e ambientes baseados em hardware.
4. Conecte as defesas às superfícies. Examine como as defesas MoAI protegem essas superfícies nas fases de pré-implantação, execução em tempo de execução e pós-implantação.
5. Olhe para o futuro. Explore novos desafios de segurança no treinamento on-device, GenAI on-device e sistemas MoAI agênticos.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomia em resumo

Pilar de segurança MoAI	O que protege	Ataques representativos	Defesas representativas
Integridade de entrada governada pelo usuário	A integridade de ponta a ponta das entradas do usuário, desde a aquisição de dados móveis até a entrega ao modelo	Ataques adversariais, Ataques de backdoor, Ataques de energia-latência	-
Segurança do modelo residente no dispositivo	Artefatos de modelos implantados e todas as formas pós-implantação nas quais os modelos são armazenados, carregados, transformados ou materializados nos dispositivos	Ataques adversariais, Ataques de backdoor, Ataques adversariais a pesos, Ataques de roubo de modelos, Ataques de energia-latência	Ofuscação de modelos, Autorização de modelos, TEE, Marca d'água em modelos
Confinamento do ambiente nativo do dispositivo	Computação de inferência sensível e estados de tempo de execução no SO móvel, runtime de IA, subsistema de memória e ambientes de execução baseados em hardware	Ataques de roubo de modelos, Ataques de energia-latência	Ofuscação de modelos, TEE