Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

Мобильные системы ИИ на устройстве выполняют модели ИИ локально через ML-фреймворки, такие как LiteRT/TFLite, Core ML, ExecuTorch, ONNX, и аппаратные ускорители. Этот репозиторий отслеживает исследования в области безопасности, необходимые для понимания и защиты таких систем, поскольку локальное хранение моделей на устройстве создаёт новые риски безопасности.

Обзор мобильной системы ИИ на устройстве

Содержание

• План чтения
• Таксономия вкратце
• Межстолповой анализ безопасности
• Атаки на системы MoAI
  • Состоятельные атаки
    • Эксплуатация сходства моделей
    • Реконструкция градиентов
    • Манипуляция предобработкой
  • Атаки с бэкдором
    • Инъекция полезной нагрузки
    • Квантование моделей
    • Стеганография изображений
  • Атаки на веса моделей
  • Атаки с кражей моделей
    • Статический анализ
    • Динамический анализ
    • Побочные каналы
  • Атаки на энергопотребление и задержку
• Защита систем MoAI
  • Обфускация моделей
    • Сокрытие на уровне ПО
    • Сокрытие на уровне аппаратного обеспечения
  • Авторизация моделей
  • Доверенные среды выполнения
    • Монолитное выполнение
    • Раздельное выполнение
    • Обфусцированная разгрузка
  • Водяные знаки моделей
• Открытые проблемы
• Перспективные направления

План чтения

Новичок в безопасности MoAI? Начните здесь:

1. Поймите экосистему. Прочитайте эмпирические исследования приложений глубокого обучения и моделей на устройстве в приложениях Android/iOS.
2. Изучите основной риск. Изучите работы по извлечению моделей и защите моделей, поскольку локальное размещение моделей является ключевым сдвигом в безопасности систем MoAI.
3. Поймите поверхности атак. Изучите, как атаки на MoAI возникают через интерфейсы ввода, артефакты моделей, выполнение во время выполнения и аппаратные среды.
4. Свяжите защиты с поверхностями. Изучите, как защиты MoAI защищают эти поверхности на этапах предразвёртывания, выполнения и постразвёртывания.
5. Смотрите вперёд. Исследуйте новые проблемы безопасности в обучении на устройстве, GenAI на устройстве и агентных системах MoAI.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

Таксономия вкратце

Межстолповой анализ безопасности

Атаки на системы MoAI

Эксплуатация сходства моделей

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

Реконструкция градиентов

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2024)}

Манипуляция предобработкой

• Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps [Code]
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Инъекция полезной нагрузки

• DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2021)}

• MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack [Code]
  _{Automated Software Engineering (ASEJ 2026)}

Квантование моделей

• Quantization Backdoors to Deep Learning Commercial Frameworks [Code]
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2024)}

Стеганография изображений

• Stealthy Backdoor Attack to Real-world Models in Android Apps
  _{arXiv preprint (arXiv 2025)}

• Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
  _{IEEE Transactions on Dependable and Secure Computing (TDSC 2026)}

Статический анализ

• A First Look at Deep Learning Apps on Smartphones [Code]
  _{The World Wide Web Conference (WWW 2019)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2023)}

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers
  _{IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)}

Динамический анализ

• Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps [Code]
  _{USENIX Security Symposium (USENIX Security 2021)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{USENIX Security Symposium (USENIX Security 2025)}

Побочные каналы

• Model Extraction Attack against On-Device Deep Learning with Power Side Channel
  _{IEEE International Symposium on Quality Electronic Design (ISQED 2024)}

• DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)}

• Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning
  _{Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)}

Защита систем MoAI

Сокрытие на уровне ПО

• ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)}

• DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators [Code]
  _{IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)}

• Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [Code]
  _{ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)}

Сокрытие на уровне аппаратного обеспечения

• NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation [Code]
  _{International Conference on Machine Learning (ICML 2023)}

• A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks
  _{Scientific Reports (Sci. Rep. 2025)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

• MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps [Code]
  _{IEEE Security and Privacy Workshops (SPW 2021)}

• Securing On-device Transformer with Hardware Binding and Reversible Obfuscation [Code]
  _{Annual Computer Security Applications Conference (ACSAC 2025)}

Монолитное выполнение

• Offline Model Guard: Secure and Private ML on Mobile Devices
  _{Design, Automation and Test in Europe Conference (DATE 2020)}

• GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware
  _{ACM/IFIP International Middleware Conference (Middleware 2022)}

• Secure and Efficient Mobile DNN Using Trusted Execution Environments
  _{ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)}

• T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone
  _{ACM Conference on Data and Application Security and Privacy (CODASPY 2023)}

• LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps
  _{IEEE Transactions on Mobile Computing (TMC 2022)}

• ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments [Code]
  _{Network and Distributed System Security Symposium (NDSS 2025)}

• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [Code]
  _{European Conference on Computer Systems (EuroSys 2026)}

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
  _{arXiv preprint (arXiv 2026)}

Раздельное выполнение

• DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments [Code]
  _{Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)}

• HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment [Code]
  _{Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)}- SecDeep: Secure and Performant On-Device Deep Learning Inference Framework for Mobile and IoT Devices
  _{Международная конференция по проектированию и внедрению интернета вещей (IoTDI 2021)}

• ShadowNet: A Secure and Efficient On-Device Model Inference System for Convolutional Neural Networks [Code]
  _{Симпозиум IEEE по безопасности и конфиденциальности (S&P 2023)}

• MirrorNet: A TEE-Friendly Framework for Secure On-Device DNN Inference
  _{Международная конференция IEEE/ACM по автоматизированному проектированию (ICCAD 2023)}

• TSQP: Safeguarding Real-Time Inference for Quantization Neural Networks on Edge Devices [Code]
  _{Симпозиум IEEE по безопасности и конфиденциальности (S&P 2025)}

• TEESlice: Protecting Sensitive Neural Network Models in Trusted Execution Environments When Attackers Have Pre-Trained Models
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2025)}

• TensorShield: Safeguarding On-Device Inference by Shielding Critical DNN Tensors with TEE [Code]
  _{Конференция ACM SIGSAC по компьютерной и коммуникационной безопасности (CCS 2025)}

Обфусцированная разгрузка вычислений

• GroupCover: A Secure, Efficient and Scalable Inference Framework for On-Device Model Protection Based on TEEs [Code]
  _{Международная конференция по машинному обучению (ICML 2024)}

• Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms [Code]
  _{Симпозиум USENIX по безопасности (USENIX Security 2025)}

• MirageNet: A Secure, Efficient, and Scalable On-Device Model Protection in Heterogeneous TEE and GPU System
  _{Препринт arXiv (arXiv 2026)}

• THEMIS: Towards Practical Intellectual Property Protection for Post-Deployment On-Device Deep Learning Models [Code]
  _{Симпозиум USENIX по безопасности (USENIX Security 2025)}

Открытые проблемы

Следующие открытые проблемы обобщают основные пробелы в исследованиях, выявленные в нашем SoK. Мы оставляем описания здесь на высоком уровне для читателей, использующих этот репозиторий. Более технические обсуждения можно найти в статье.

1. Практичность развёртывания атак.
   Атаки с использованием состязательных примеров против локальных моделей остаются труднореализуемыми после развёртывания, поскольку они часто требуют контроля над входными данными модели, внедрения состязательных возмущений или перепаковки приложения для изменения кода предобработки. Эти шаги могут быть непрактичными или обнаруживаемыми в реальных сценариях использования конечными пользователями.

2. Скрытная модификация модели.
   Атаки с использованием бэкдоров должны находить точки входа после развёртывания, выходящие за рамки стандартного отравления на этапе обучения, поскольку локальные модели обычно доступны только для чтения и только для инференса. Ключевая задача — внедрить скрытое вредоносное поведение без наблюдаемых изменений в артефактах модели.

3. Точная локализация весов.
   Атаки на веса модели выявляют риск нарушения целостности на уровне параметров, но практическое развёртывание зависит от поиска критически важных для поведения весов в огромном пространстве поиска параметров. Это сложно, поскольку злоумышленникам часто не хватает градиентного ориентира, и им необходимо сохранять полезную функциональность, изменяя только выбранные параметры.

4. Надёжная экстракция модели.
   Локальное хранение модели не делает кражу модели простой. Практическая экстракция по-прежнему зависит от надёжной идентификации модели, дешифрования и восстановления при наличии кастомных алгоритмов шифрования, нестандартных AI-фреймворков и специфичного для среды выполнения поведения загрузки.

5. Аппаратная гетерогенность.
   Атаки на энергопотребление и задержку зависят от того, как отравленные паттерны активации взаимодействуют с поведением выполнения на конкретном устройстве. Они могут усиливать задержку и энергопотребление на акселераторах, чувствительных к разреженности, но не переноситься на оборудование без зависимого от разреженности выполнения.

6. Исполнимая эквивалентность.
   Обфускация модели по-прежнему должна сохранять исходную функцию предсказания во время авторизованного инференса. Эта исполнимая эквивалентность может раскрывать восстанавливаемые состояния выполнения, преобразованные веса, семантику операторов или структурные следы, которые позволяют выполнить семантическое, структурное или параметрическое восстановление.

7. Принудительное исполнение на стороне клиента.
   Авторизация модели связывает корректный инференс с учётными данными, проверками целостности и восстановлением упакованных весов. Однако эти проверки должны выполняться внутри мобильного стека, что делает принудительное исполнение зависимым от клиентского кода, который может быть подвергнут реверс-инжинирингу, перепаковке, перехвату или инструментированию после развёртывания.

8. Реализуемость развёртывания TEE.
   Защита на основе TEE требует скоординированной поддержки форматов моделей, AI-фреймворков, библиотек операторов, делегатов, акселераторов и интерфейсов изоляции CPU/GPU/NPU. Текущие мобильные экосистемы всё ещё не имеют широко принятых, прозрачных для разработчиков стеков инференса на базе TEE.

9. Устойчивость водяных знаков.
   Водяные знаки моделей обеспечивают проверку владения после развёртывания, но украденные модели могут быть повторно развёрнуты через конвертацию фреймворков, шифрование или посредничество на уровне приложения между входом и выходом. Эти преобразования могут сохранять полезный инференс, нарушая при этом реакции на триггеры, паттерны уверенности или семантику выходных данных, используемые для проверки.

Перспективные направления

Помимо девяти открытых проблем, описанных выше, наш SoK выделяет три перспективных направления, в которых безопасность MoAI, вероятно, будет расширяться в дальнейшем. Эти направления смещают исследования безопасности MoAI в сторону систематической оценки, одновременно расширяя их охват на новые поверхности атак, возникающие при локальном обучении и агентных системах MoAI. Мы кратко обобщаем их здесь. В сопутствующей статье представлены более подробные обоснования, поверхности угроз и исследовательские задачи.

Существующие исследования безопасности MoAI оценивают атаки и защиты с использованием самостоятельно собранных наборов данных, специфичных для методов метрик и различных моделей угроз, и обычно ограничены одной платформой (Android или iOS). Это затрудняет сравнение результатов оценки и игнорирует различия между платформами. Будущие работы должны создать унифицированные бенчмарки, стандартизирующие наборы данных, метрики и модели угроз, а также поддерживающие кроссплатформенную оценку для систематической, сопоставимой и воспроизводимой оценки безопасности MoAI.

Текущие исследования безопасности MoAI в основном сосредоточены на развёрнутых моделях, доступных только для чтения и только для инференса. Локальное обучение меняет это допущение, позволяя обновлять модели локально, что раскрывает градиенты, обновления параметров и пользовательские данные в процессе обучения. Это открывает новые вопросы, касающиеся локальной тонкой настройки, целостности обновлений, раскрытия обучающих данных, отравления персонализации и защит для состояний на этапе обучения на устройствах конечных пользователей.

Системы MoAI эволюционируют от пассивного локального инференса к агентным рабочим процессам, которые связывают модели с датчиками, приватными пользовательскими данными, контекстами приложений, сервисами ОС и межприложенческими интерфейсами. Это смещает фокус безопасности с защиты только артефактов модели на управление цепочками «контекст-действие». Будущие работы должны изучать происхождение мобильного контекста, разделение доверенного намерения пользователя и недоверенного содержимого окружения, разрешения с ограниченной областью действия для использования инструментов и API, подтверждение и откат для чувствительных действий, а также аудит планов, памяти и действий агента.