Awesome Mobile On-Device AI Security (Seguridad de IA en Dispositivos Móviles)

SoK: Landscape de Ataques y Defensas de los Sistemas de IA en Dispositivos Móviles

Los sistemas de IA en dispositivos móviles ejecutan modelos de IA localmente a través de frameworks de ML como LiteRT/TFLite, Core ML, ExecuTorch, ONNX y aceleradores respaldados por hardware. Este repositorio rastrea la investigación de seguridad necesaria para comprender y proteger dichos sistemas, ya que el almacenamiento local de modelos en el dispositivo introduce nuevos riesgos de seguridad.

Descripción general de un sistema de IA en dispositivos móviles

Contenidos

• Hoja de ruta de lectura
• Taxonomía de un vistazo
• Análisis de seguridad entre pilares
• Ataques a sistemas MoAI
  • Ataques adversarios
    • Explotación de similitud de modelos
    • Reconstrucción de gradientes
    • Manipulación del preprocesamiento
  • Ataques de puerta trasera
    • Inyección de carga útil
    • Cuantización de modelos
    • Esteganografía de imágenes
  • Ataques adversarios a pesos
  • Ataques de robo de modelos
    • Análisis estático
    • Análisis dinámico
    • Canal lateral
  • Ataques de energía y latencia
• Defensas para sistemas MoAI
  • Ofuscación de modelos
    • Ocultamiento a nivel de software
    • Ocultamiento a nivel de hardware
  • Autorización de modelos
  • Entornos de ejecución confiables
    • Ejecución monolítica
    • Ejecución particionada
    • Descarga ofuscada
  • Marcado de agua de modelos
• Problemas abiertos
• Direcciones emergentes

Hoja de ruta de lectura

¿Nuevo en la seguridad MoAI? Empieza aquí:

1. Comprende el ecosistema. Lee estudios empíricos sobre aplicaciones de aprendizaje profundo y modelos en el dispositivo en aplicaciones Android/iOS.
2. Aprende el riesgo central. Estudia los artículos sobre extracción de modelos y protección de modelos, porque la residencia local del modelo es el cambio de seguridad central en los sistemas MoAI.
3. Comprende las superficies de ataque. Estudia cómo surgen los ataques MoAI a través de interfaces de entrada, artefactos de modelos, ejecución en tiempo de ejecución y entornos respaldados por hardware.
4. Conecta las defensas con las superficies. Examina cómo las defensas MoAI protegen estas superficies en las fases de preimplementación, ejecución en tiempo de ejecución y postimplementación.
5. Mira hacia adelante. Explora los nuevos desafíos de seguridad en el entrenamiento en el dispositivo, la IA generativa en el dispositivo y los sistemas MoAI agénticos.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Taxonomía de un vistazo