jinxhy/awesome-moai-security
Курируемый список литературы и таксономия исследований атак и защиты для мобильных бортовых систем ИИ, охватывающие состязательные атаки, атаки с закладками, кражу моделей и атаки на энергопотребление и задержки, а также методы защиты, такие как обфускация, TEE и встраивание водяных знаков.
# Awesome Mobile On-Device AI Security
<p align="center">
<img src="https://img.shields.io/badge/Companion%20Resource%20for-SoK%20on%20MoAI%20Security-2563EB?style=for-the-badge" height="28" align="absmiddle" />
</p>
<h2 align="center">SoK: Attack and Defense Landscape of Mobile On-device AI Systems</h3>
Мобильные системы ИИ на устройстве выполняют модели ИИ локально через ML-фреймворки, такие как **LiteRT/TFLite**, **Core ML**, **ExecuTorch**, **ONNX**, и аппаратные ускорители. Этот репозиторий отслеживает исследования в области безопасности, необходимые для понимания и защиты таких систем, поскольку локальное хранение моделей на устройстве создаёт новые риски безопасности.
## Обзор мобильной системы ИИ на устройстве
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/714/ea9f0160c308b88a130c48a071c544d1c0765d4d221298b41899c35755abac69.jpg" alt="Overview of a Mobile On-Device AI system">
</p>
## Содержание
- [План чтения](#reading-roadmap)
- [Таксономия вкратце](#taxonomy-at-a-glance)
- [Межстолповой анализ безопасности](#cross-pillar-security-analysis)
- [Атаки на системы MoAI](#attacks-on-moai-systems)
- [Состоятельные атаки](#adversarial-attacks)
- [Эксплуатация сходства моделей](#model-similarity-exploitation)
- [Реконструкция градиентов](#gradient-reconstruction)
- [Манипуляция предобработкой](#preprocessing-manipulation)
- [Атаки с бэкдором](#backdoor-attacks)
- [Инъекция полезной нагрузки](#payload-injection)
- [Квантование моделей](#model-quantization)
- [Стеганография изображений](#image-steganography)
- [Атаки на веса моделей](#adversarial-weight-attacks)
- [Атаки с кражей моделей](#model-stealing-attacks)
- [Статический анализ](#static-analysis)
- [Динамический анализ](#dynamic-analysis)
- [Побочные каналы](#side-channel)
- [Атаки на энергопотребление и задержку](#energy-latency-attacks)
- [Защита систем MoAI](#defenses-for-moai-systems)
- [Обфускация моделей](#model-obfuscation)
- [Сокрытие на уровне ПО](#software-level-concealment)
- [Сокрытие на уровне аппаратного обеспечения](#hardware-level-concealment)
- [Авторизация моделей](#model-authorization)
- [Доверенные среды выполнения](#trusted-execution-environments)
- [Монолитное выполнение](#monolithic-execution)
- [Раздельное выполнение](#partitioned-execution)
- [Обфусцированная разгрузка](#obfuscated-offloading)
- [Водяные знаки моделей](#model-watermarking)
- [Открытые проблемы](#open-problems)
- [Перспективные направления](#emerging-directions)
## План чтения
Новичок в безопасности MoAI? Начните здесь:
1. **Поймите экосистему.** Прочитайте эмпирические исследования приложений глубокого обучения и моделей на устройстве в приложениях Android/iOS.
2. **Изучите основной риск.** Изучите работы по извлечению моделей и защите моделей, поскольку локальное размещение моделей является ключевым сдвигом в безопасности систем MoAI.
3. **Поймите поверхности атак.** Изучите, как атаки на MoAI возникают через интерфейсы ввода, артефакты моделей, выполнение во время выполнения и аппаратные среды.
4. **Свяжите защиты с поверхностями.** Изучите, как защиты MoAI защищают эти поверхности на этапах предразвёртывания, выполнения и постразвёртывания.
5. **Смотрите вперёд.** Исследуйте новые проблемы безопасности в обучении на устройстве, GenAI на устройстве и агентных системах MoAI.
<img src="https://img.shields.io/badge/-A%20minimal%20first--week%20reading%20path%20for%20newcomers%20to%20MOAI%20security-2563EB?style=for-the-badge" height="28" align="absmiddle" alt="A minimal first-week reading path for newcomers to MOAI security." />
<img src="https://img.shields.io/badge/Ecosystem-4C78A8?style=flat" height="22" align="absmiddle" /><br>
• <img src="https://img.shields.io/badge/Android-6B7280?style=flat" height="18" align="absmiddle" /> [A First Look at Deep Learning Apps on Smartphones](https://arxiv.org/pdf/1812.05448)
• <img src="https://img.shields.io/badge/iOS-6B7280?style=flat" height="18" align="absmiddle" /> [A First Look at On-device Models in iOS Apps](https://arxiv.org/pdf/2307.12328)
<img src="https://img.shields.io/badge/Core%20Risk-D97706?style=flat" height="22" align="absmiddle" /><br>
• <img src="https://img.shields.io/badge/Stealing-9A3412?style=flat" height="18" align="absmiddle" /> [Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps](https://www.usenix.org/conference/usenixsecurity21/presentation/sun-zhichuang)
<img src="https://img.shields.io/badge/Attack%20Surfaces-7F1D1D?style=flat" height="22" align="absmiddle" /><br>
• <img src="https://img.shields.io/badge/Adversarial-B91C1C?style=flat" height="18" align="absmiddle" /> [Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps](https://arxiv.org/pdf/2101.04401)
• <img src="https://img.shields.io/badge/Backdoor-BE123C?style=flat" height="18" align="absmiddle" /> [DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection](https://dl.acm.org/doi/10.1109/ICSE43902.2021.00035)
• <img src="https://img.shields.io/badge/Weight-9F1239?style=flat" height="18" align="absmiddle" /> [Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models](https://ieeexplore.ieee.org/document/11407485)
• <img src="https://img.shields.io/badge/Latency-92400E?style=flat" height="18" align="absmiddle" /> [Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning](https://arxiv.org/pdf/2305.03888)
<img src="https://img.shields.io/badge/Defenses-166534?style=flat" height="22" align="absmiddle" /><br>
• <img src="https://img.shields.io/badge/Obfuscation-047857?style=flat" height="18" align="absmiddle" /> [ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems](https://arxiv.org/pdf/2306.06112)
• <img src="https://img.shields.io/badge/TEE-0F766E?style=flat" height="18" align="absmiddle" /> [ShadowNet: A Secure and Efficient On-device Model Inference System](https://arxiv.org/abs/2011.05905)
• <img src="https://img.shields.io/badge/Watermarking-0E7490?style=flat" height="18" align="absmiddle" /> [THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models](https://www.usenix.org/conference/usenixsecurity25/presentation/huang-yujin)
## Таксономия вкратце
| Столп безопасности MoAI | Что защищает | Типичные атаки | Типичные защиты |
|---|---|---|---|
| **Целостность ввода, управляемая пользователем** | Сквозная целостность пользовательских вводов, от сбора данных на мобильном устройстве до передачи в модель | Состоятельные атаки, атаки с бэкдором, атаки на энергопотребление и задержку | - |
| **Безопасность моделей, размещённых на устройстве** | Развёрнутые артефакты моделей и все постразвёртывательные формы, в которых модели хранятся, загружаются, преобразуются или материализуются на устройствах | Состоятельные атаки, атаки с бэкдором, атаки на веса моделей, атаки с кражей моделей, атаки на энергопотребление и задержку | Обфускация моделей, авторизация моделей, TEE, водяные знаки моделей |
| **Изоляция среды нативного устройства** | Чувствительные вычисления вывода и состояния выполнения в мобильной ОС, AI-рантайме, подсистеме памяти и аппаратных средах выполнения | Атаки с кражей моделей, атаки на энергопотребление и задержку | Обфускация моделей, TEE |
## Межстолповой анализ безопасности
<p align="center">
<img src="https://raw.githubusercontent.com/jinxhy/awesome-moai-security/main/figures/attack-pillar.jpg" alt="Cross-pillar security analysis of attacks and open problems in MoAI systems.">
<img src="https://raw.githubusercontent.com/jinxhy/awesome-moai-security/main/figures/defense-pillar.jpg" alt="Cross-pillar security analysis of defenses and open problems in MoAI systems.">
</p>
## Атаки на системы MoAI
<a id="adversarial-attacks"></a>
<img src="https://img.shields.io/badge/Adversarial%20Attacks-B91C1C?style=flat" height="24" align="absmiddle" />
#### Эксплуатация сходства моделей
- [**Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps**](https://dl.acm.org/doi/10.1109/ICSE-SEIP52600.2021.00019) [[Code](https://github.com/Jinxhy/AppAIsecurity)]
<sub>IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)</sub>
- [**Smart App Attack: Hacking Deep Learning Models in Android Apps**](https://dl.acm.org/doi/10.1109/TIFS.2022.3172213) [[Code](https://github.com/Jinxhy/SmartAppAttack)]
<sub>IEEE Transactions on Information Forensics and Security (TIFS 2022)</sub>
- [**Understanding Real-world Threats to Deep Learning Models in Android Apps**](https://dl.acm.org/doi/10.1145/3548606.3559388) [[Code](https://github.com/Advdroid/advdroid-pro)]
<sub>ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)</sub>
- [**Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps**](https://onlinelibrary.wiley.com/doi/10.1002/smr.2528)
<sub>Journal of Software: Evolution and Process (JSEP 2024)</sub>
- [**A First Look at On-device Models in iOS Apps**](https://dl.acm.org/doi/10.1145/3617177) [[Code](https://github.com/huhanGitHub/iOS-App-database)]
<sub>ACM Transactions on Software Engineering and Methodology (TOSEM 2024)</sub>
#### Реконструкция градиентов
- [**Investigating White-Box Attacks for On-Device Models**](https://arxiv.org/abs/2402.05493) [[Code](https://github.com/zhoumingyi/REOM)]
<sub>IEEE/ACM International Conference on Software Engineering (ICSE 2024)</sub>
- [**TIM: Enabling Large-Scale White-Box Testing on In-App Deep Learning Models**](https://doi.org/10.1109/TIFS.2024.3455761) [[Code](https://zenodo.org/record/7548141)]
<sub>IEEE Transactions on Information Forensics and Security (TIFS 2024)</sub>
#### Манипуляция предобработкой
- [**Beyond the Model: Data Pre-processing Attack to Deep Learning Models in Android Apps**](https://dl.acm.org/doi/10.1145/3591197.3591308) [[Code](https://github.com/Alexender-Ye/attack-focused-on-pre-processing)]
<sub>Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)</sub>
<a id="backdoor-attacks"></a>
<img src="https://img.shields.io/badge/Backdoor%20Attacks-BE123C?style=flat" height="24" align="absmiddle" />
#### Инъекция полезной нагрузки
- [**DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection**](https://dl.acm.org/doi/10.1109/ICSE43902.2021.00035) [[Code](https://github.com/yuanchun-li/DeepPayload)]
<sub>IEEE/ACM International Conference on Software Engineering (ICSE 2021)</sub>
- [**MalModel: Hiding Malicious Payload in Mobile Deep Learning Models with Black-box Backdoor Attack**](https://link.springer.com/article/10.1007/s10515-025-00569-7) [[Code](https://github.com/hjygh/MalModel)]
<sub>Automated Software Engineering (ASEJ 2026)</sub>
#### Квантование моделей
- [**Quantization Backdoors to Deep Learning Commercial Frameworks**](https://arxiv.org/abs/2108.09187) [[Code](https://github.com/quantization-backdoor/quantization-backdoor)]
<sub>IEEE Transactions on Dependable and Secure Computing (TDSC 2024)</sub>
#### Стеганография изображений
- [**Stealthy Backdoor Attack to Real-world Models in Android Apps**](https://arxiv.org/abs/2501.01263)
<sub>arXiv preprint (arXiv 2025)</sub>
<a id="adversarial-weight-attacks"></a>
<img src="https://img.shields.io/badge/Adversarial%20Weight%20Attacks-9F1239?style=flat" height="24" align="absmiddle" />
- [**Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models**](https://ieeexplore.ieee.org/document/11407485)
<sub>IEEE Transactions on Dependable and Secure Computing (TDSC 2026)</sub>
<a id="model-stealing-attacks"></a>
<img src="https://img.shields.io/badge/Model%20Stealing%20Attacks-9A3412?style=flat" height="24" align="absmiddle" />
#### Статический анализ
- [**A First Look at Deep Learning Apps on Smartphones**](https://arxiv.org/pdf/1812.05448) [[Code](https://github.com/xumengwei/MobileDL)]<br>
<sub>The World Wide Web Conference (WWW 2019)</sub>
- [**A First Look at On-device Models in iOS Apps**](https://arxiv.org/pdf/2307.12328) [[Code](https://github.com/huhanGitHub/iOS-App-database)]<br>
<sub>ACM Transactions on Software Engineering and Methodology (TOSEM 2023)</sub>
- [**Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps**](https://www.usenix.org/conference/usenixsecurity21/presentation/sun-zhichuang) [[Code](https://github.com/RiS3-Lab/ModelXRay)]<br>
<sub>USENIX Security Symposium (USENIX Security 2021)</sub>
- [**REDLC: Learning-Driven Reverse Engineering for Deep Learning Compilers**](https://doi.org/10.1109/ISSRE62328.2024.00029)<br>
<sub>IEEE International Symposium on Software Reliability Engineering (ISSRE 2024)</sub>
#### Динамический анализ
- [**Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps**](https://www.usenix.org/conference/usenixsecurity21/presentation/sun-zhichuang) [[Code](https://github.com/RiS3-Lab/ModelXRay)]<br>
<sub>USENIX Security Symposium (USENIX Security 2021)</sub>
- [**Understanding Real-world Threats to Deep Learning Models in Android Apps**](https://dl.acm.org/doi/10.1145/3548606.3559388) [[Code](https://github.com/Advdroid/advdroid-pro)]<br>
<sub>ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)</sub>
- [**DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps**](https://dl.acm.org/doi/10.1145/3597503.3623325) [[Code](https://github.com/MGYN/DeMistify)]<br>
<sub>IEEE/ACM International Conference on Software Engineering (ICSE 2024)</sub>
- [**Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms**](https://www.usenix.org/conference/usenixsecurity25/presentation/wang-pengli) [[Code](https://github.com/qsxltss/Game-of-Arrows)]<br>
<sub>USENIX Security Symposium (USENIX Security 2025)</sub>
#### Побочные каналы
- [**Model Extraction Attack against On-Device Deep Learning with Power Side Channel**](https://doi.org/10.1109/ISQED60706.2024.10528716)
<sub>IEEE International Symposium on Quality Electronic Design (ISQED 2024)</sub>
- [**DeepCache: Revisiting Cache Side-Channel Attacks in Deep Neural Networks Executables**](https://dl.acm.org/doi/10.1145/3658644.3690239)
<sub>ACM SIGSAC Conference on Computer and Communications Security (CCS 2024)</sub>
<a id="energy-latency-attacks"></a>
<img src="https://img.shields.io/badge/Energy--latency%20Attacks-92400E?style=flat" height="24" align="absmiddle" />
- [**Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning**](https://dl.acm.org/doi/10.1145/3591197.3591307)
<sub>Secure and Trustworthy Deep Learning Systems Workshop (SecTL 2023)</sub>
## Защита систем MoAI
<a id="model-obfuscation"></a>
<img src="https://img.shields.io/badge/Model%20Obfuscation-047857?style=flat" height="24" align="absmiddle" />
#### Сокрытие на уровне ПО
- [**ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-Based Systems**](https://dl.acm.org/doi/10.1145/3597926.3598113) [[Code](https://github.com/zhoumingyi/ModelObfuscator)]<br>
<sub>ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2023)</sub>
- [**DynaMO: Protecting Mobile DL Models through Coupling Obfuscated DL Operators**](https://dl.acm.org/doi/10.1145/3691620.3694998) [[Code](https://github.com/zhoumingyi/DynaMO)]<br>
<sub>IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)</sub>
- [**Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models**](https://dl.acm.org/doi/10.1145/3650212.3652119) [[Code](https://github.com/zhoumingyi/CustomDLCoder)]<br>
<sub>ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2024)</sub>
#### Сокрытие на уровне аппаратного обеспечения
- [**NNSplitter: An Active Defense Solution for DNN Model via Automated Weight Obfuscation**](https://proceedings.mlr.press/v202/zhou23h.html) [[Code](https://github.com/Tongzhou0101/NNSplitter)]<br>
<sub>International Conference on Machine Learning (ICML 2023)</sub>
- [**A Novel Obfuscation Method Based on Majority Logic for Preventing Unauthorized Access to Binary Deep Neural Networks**](https://www.nature.com/articles/s41598-025-09722-4)<br>
<sub>Scientific Reports (Sci. Rep. 2025)</sub>
- [**Securing On-device Transformer with Hardware Binding and Reversible Obfuscation**](https://ieeexplore.ieee.org/document/11391918) [[Code](https://github.com/sarendis56/PUF-Transformer-IP-Protection)]<br>
<sub>Annual Computer Security Applications Conference (ACSAC 2025)</sub>
<a id="model-authorization"></a>
<img src="https://img.shields.io/badge/Model%20Authorization-0A7763?style=flat" height="24" align="absmiddle" />
- [**MMGuard: Automatically Protecting On-Device Deep Learning Models in Android Apps**](https://ieeexplore.ieee.org/document/9474328) [[Code](https://github.com/MMGuard123/MMGuard)]<br>
<sub>IEEE Security and Privacy Workshops (SPW 2021)</sub>
- [**Securing On-device Transformer with Hardware Binding and Reversible Obfuscation**](https://ieeexplore.ieee.org/document/11391918) [[Code](https://github.com/sarendis56/PUF-Transformer-IP-Protection)]<br>
<sub>Annual Computer Security Applications Conference (ACSAC 2025)</sub>
<a id="trusted-execution-environments"></a>
<img src="https://img.shields.io/badge/Trusted%20Execution%20Environments-0F766E?style=flat" height="24" align="absmiddle" />
#### Монолитное выполнение
- [**Offline Model Guard: Secure and Private ML on Mobile Devices**](https://arxiv.org/abs/2007.02351)<br>
<sub>Design, Automation and Test in Europe Conference (DATE 2020)</sub>
- [**GuardiaNN: Fast and Secure On-Device Inference in TrustZone Using Embedded SRAM and Cryptographic Hardware**](https://dl.acm.org/doi/10.1145/3528535.3531513)<br>
<sub>ACM/IFIP International Middleware Conference (Middleware 2022)</sub>
- [**Secure and Efficient Mobile DNN Using Trusted Execution Environments**](https://dl.acm.org/doi/10.1145/3579856.3582820)<br>
<sub>ACM Asia Conference on Computer and Communications Security (AsiaCCS 2023)</sub>
- [**T-Slices: Confidential Execution of Deep Learning Inference at the Untrusted Edge with Arm TrustZone**](https://dl.acm.org/doi/10.1145/3577923.3583648)<br>
<sub>ACM Conference on Data and Application Security and Privacy (CODASPY 2023)</sub>
- [**LEAP: TrustZone Based Developer-Friendly TEE for Intelligent Mobile Apps**](https://dl.acm.org/doi/10.1109/TMC.2022.3207745)<br>
<sub>IEEE Transactions on Mobile Computing (TMC 2022)</sub>
- [**ASGARD: Protecting On-Device Deep Neural Networks with Virtualization-Based Trusted Execution Environments**](https://www.ndss-symposium.org/ndss-paper/asgard-protecting-on-device-deep-neural-networks-with-virtualization-based-trusted-execution-environments/) [[Code](https://github.com/yonsei-sslab/asgard)]<br>
<sub>Network and Distributed System Security Symposium (NDSS 2025)</sub>
- [**TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone**](https://arxiv.org/abs/2511.13717) [[Code](https://zenodo.org/records/17054270)]<br>
<sub>European Conference on Computer Systems (EuroSys 2026)</sub>
- [**FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation**](https://arxiv.org/abs/2603.09046)<br>
<sub>arXiv preprint (arXiv 2026)</sub>
#### Раздельное выполнение
- [**DarkneTZ: Towards Model Privacy at the Edge Using Trusted Execution Environments**](https://arxiv.org/abs/2004.05703) [[Code](https://github.com/mofanv/darknetz)]<br>
<sub>Annual International Conference on Mobile Systems, Applications, and Services (MobiSys 2020)</sub>
- [**HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment**](https://par.nsf.gov/servlets/purl/10217344) [[Code](https://github.com/hwsel/HybridTEE)]<br>
<sub>Asian Hardware Oriented Security and Trust Symposium (AsianHOST 2020)</sub>- [**SecDeep: Secure and Performant On-Device Deep Learning Inference Framework for Mobile and IoT Devices**](https://dl.acm.org/doi/10.1145/3450268.3453524)<br>
<sub>Международная конференция по проектированию и внедрению интернета вещей (IoTDI 2021)</sub>
- [**ShadowNet: A Secure and Efficient On-Device Model Inference System for Convolutional Neural Networks**](https://ieeexplore.ieee.org/document/10179382) [[Code](https://github.com/RiS3-Lab/ShadowNet)]<br>
<sub>Симпозиум IEEE по безопасности и конфиденциальности (S&P 2023)</sub>
- [**MirrorNet: A TEE-Friendly Framework for Secure On-Device DNN Inference**](https://arxiv.org/abs/2311.09489)<br>
<sub>Международная конференция IEEE/ACM по автоматизированному проектированию (ICCAD 2023)</sub>
- [**TSQP: Safeguarding Real-Time Inference for Quantization Neural Networks on Edge Devices**](https://ieeexplore.ieee.org/document/11023493) [[Code](https://github.com/D1aoBoomm/TSQP)]<br>
<sub>Симпозиум IEEE по безопасности и конфиденциальности (S&P 2025)</sub>
- [**TEESlice: Protecting Sensitive Neural Network Models in Trusted Execution Environments When Attackers Have Pre-Trained Models**](https://dl.acm.org/doi/10.1145/3707453)<br>
<sub>ACM Transactions on Software Engineering and Methodology (TOSEM 2025)</sub>
- [**TensorShield: Safeguarding On-Device Inference by Shielding Critical DNN Tensors with TEE**](https://arxiv.org/abs/2505.22735) [[Code](https://github.com/suntong30/TensorShield)]<br>
<sub>Конференция ACM SIGSAC по компьютерной и коммуникационной безопасности (CCS 2025)</sub>
#### Обфусцированная разгрузка вычислений
- [**GroupCover: A Secure, Efficient and Scalable Inference Framework for On-Device Model Protection Based on TEEs**](https://proceedings.mlr.press/v235/zhang24bn.html) [[Code](https://github.com/ZzzzMe/GroupCover)]<br>
<sub>Международная конференция по машинному обучению (ICML 2024)</sub>
- [**Game of Arrows: On the (In-)Security of Weight Obfuscation for On-Device TEE-Shielded LLM Partition Algorithms**](https://www.usenix.org/conference/usenixsecurity25/presentation/wang-pengli) [[Code](https://github.com/qsxltss/Game-of-Arrows)]<br>
<sub>Симпозиум USENIX по безопасности (USENIX Security 2025)</sub>
- [**MirageNet: A Secure, Efficient, and Scalable On-Device Model Protection in Heterogeneous TEE and GPU System**](https://arxiv.org/abs/2601.13826)<br>
<sub>Препринт arXiv (arXiv 2026)</sub>
<a id="model-watermarking"></a>
<img src="https://img.shields.io/badge/Model%20Watermarking-0E7490?style=flat" height="24" align="absmiddle" />
- [**THEMIS: Towards Practical Intellectual Property Protection for Post-Deployment On-Device Deep Learning Models**](https://www.usenix.org/conference/usenixsecurity25/presentation/huang-yujin) [[Code](https://github.com/Jinxhy/THEMIS)]<br>
<sub>Симпозиум USENIX по безопасности (USENIX Security 2025)</sub>
## Открытые проблемы
Следующие открытые проблемы обобщают основные пробелы в исследованиях, выявленные в нашем SoK. Мы оставляем описания здесь на высоком уровне для читателей, использующих этот репозиторий. Более технические обсуждения можно найти в статье.
<img src="https://img.shields.io/badge/ATTACK%20OPS%20%E2%80%94%20FROM%20MODEL%20ACCESS%20TO%20DEPLOYABLE%20ATTACKS-7F1D1D?style=for-the-badge" height="28" align="absmiddle" />
1. **Практичность развёртывания атак.**
Атаки с использованием состязательных примеров против локальных моделей остаются труднореализуемыми после развёртывания, поскольку они часто требуют контроля над входными данными модели, внедрения состязательных возмущений или перепаковки приложения для изменения кода предобработки. Эти шаги могут быть непрактичными или обнаруживаемыми в реальных сценариях использования конечными пользователями.
2. **Скрытная модификация модели.**
Атаки с использованием бэкдоров должны находить точки входа после развёртывания, выходящие за рамки стандартного отравления на этапе обучения, поскольку локальные модели обычно доступны только для чтения и только для инференса. Ключевая задача — внедрить скрытое вредоносное поведение без наблюдаемых изменений в артефактах модели.
3. **Точная локализация весов.**
Атаки на веса модели выявляют риск нарушения целостности на уровне параметров, но практическое развёртывание зависит от поиска критически важных для поведения весов в огромном пространстве поиска параметров. Это сложно, поскольку злоумышленникам часто не хватает градиентного ориентира, и им необходимо сохранять полезную функциональность, изменяя только выбранные параметры.
4. **Надёжная экстракция модели.**
Локальное хранение модели не делает кражу модели простой. Практическая экстракция по-прежнему зависит от надёжной идентификации модели, дешифрования и восстановления при наличии кастомных алгоритмов шифрования, нестандартных AI-фреймворков и специфичного для среды выполнения поведения загрузки.
5. **Аппаратная гетерогенность.**
Атаки на энергопотребление и задержку зависят от того, как отравленные паттерны активации взаимодействуют с поведением выполнения на конкретном устройстве. Они могут усиливать задержку и энергопотребление на акселераторах, чувствительных к разреженности, но не переноситься на оборудование без зависимого от разреженности выполнения.
<img src="https://img.shields.io/badge/DEFENSE%20OPS%20%E2%80%94%20FROM%20PROTECTION%20MECHANISMS%20TO%20POST--RELEASE%20GUARANTEES-166534?style=for-the-badge" height="28" align="absmiddle" />
6. **Исполнимая эквивалентность.**
Обфускация модели по-прежнему должна сохранять исходную функцию предсказания во время авторизованного инференса. Эта исполнимая эквивалентность может раскрывать восстанавливаемые состояния выполнения, преобразованные веса, семантику операторов или структурные следы, которые позволяют выполнить семантическое, структурное или параметрическое восстановление.
7. **Принудительное исполнение на стороне клиента.**
Авторизация модели связывает корректный инференс с учётными данными, проверками целостности и восстановлением упакованных весов. Однако эти проверки должны выполняться внутри мобильного стека, что делает принудительное исполнение зависимым от клиентского кода, который может быть подвергнут реверс-инжинирингу, перепаковке, перехвату или инструментированию после развёртывания.
8. **Реализуемость развёртывания TEE.**
---
[Read more](https://github.com/jinxhy/awesome-moai-security)