Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Мобильные системы ИИ на устройстве выполняют модели ИИ локально через ML-фреймворки, такие как LiteRT/TFLite, Core ML, ExecuTorch, ONNX, и аппаратные ускорители. Этот репозиторий отслеживает исследования в области безопасности, необходимые для понимания и защиты таких систем, поскольку локальное хранение моделей на устройстве создаёт новые риски безопасности.

Обзор мобильной системы ИИ на устройстве

Содержание

• План чтения
• Таксономия вкратце
• Межстолповой анализ безопасности
• Атаки на системы MoAI
  • Состоятельные атаки
    • Эксплуатация сходства моделей
    • Реконструкция градиентов
    • Манипуляция предобработкой
  • Атаки с бэкдором
    • Инъекция полезной нагрузки
    • Квантование моделей
    • Стеганография изображений
  • Атаки на веса моделей
  • Атаки с кражей моделей
    • Статический анализ
    • Динамический анализ
    • Побочные каналы
  • Атаки на энергопотребление и задержку
• Защита систем MoAI
  • Обфускация моделей
    • Сокрытие на уровне ПО
    • Сокрытие на уровне аппаратного обеспечения
  • Авторизация моделей
  • Доверенные среды выполнения
    • Монолитное выполнение
    • Раздельное выполнение
    • Обфусцированная разгрузка
  • Водяные знаки моделей
• Открытые проблемы
• Перспективные направления

План чтения

Новичок в безопасности MoAI? Начните здесь:

1. Поймите экосистему. Прочитайте эмпирические исследования приложений глубокого обучения и моделей на устройстве в приложениях Android/iOS.
2. Изучите основной риск. Изучите работы по извлечению моделей и защите моделей, поскольку локальное размещение моделей является ключевым сдвигом в безопасности систем MoAI.
3. Поймите поверхности атак. Изучите, как атаки на MoAI возникают через интерфейсы ввода, артефакты моделей, выполнение во время выполнения и аппаратные среды.
4. Свяжите защиты с поверхностями. Изучите, как защиты MoAI защищают эти поверхности на этапах предразвёртывания, выполнения и постразвёртывания.
5. Смотрите вперёд. Исследуйте новые проблемы безопасности в обучении на устройстве, GenAI на устройстве и агентных системах MoAI.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Таксономия вкратце

Столп безопасности MoAI	Что защищает	Типичные атаки	Типичные защиты
Целостность ввода, управляемая пользователем	Сквозная целостность пользовательских вводов, от сбора данных на мобильном устройстве до передачи в модель	Состоятельные атаки, атаки с бэкдором, атаки на энергопотребление и задержку	-
Безопасность моделей, размещённых на устройстве	Развёрнутые артефакты моделей и все постразвёртывательные формы, в которых модели хранятся, загружаются, преобразуются или материализуются на устройствах	Состоятельные атаки, атаки с бэкдором, атаки на веса моделей, атаки с кражей моделей, атаки на энергопотребление и задержку	Обфускация моделей, авторизация моделей, TEE, водяные знаки моделей
Изоляция среды нативного устройства	Чувствительные вычисления вывода и состояния выполнения в мобильной ОС, AI-рантайме, подсистеме памяти и аппаратных средах выполнения	Атаки с кражей моделей, атаки на энергопотребление и задержку	Обфускация моделей, TEE

Межстолповой анализ безопасности

Атаки на системы MoAI