针对移动端设备上AI系统的攻击与防御研究精选阅读清单及分类体系,涵盖对抗攻击、后门攻击、模型窃取攻击及能耗-延迟攻击,同时涉及混淆、TEE与水印防御措施。
移动设备端AI系统通过 LiteRT/TFLite、Core ML、ExecuTorch、ONNX 等机器学习框架以及硬件加速器在本地执行AI模型。本仓库追踪理解和保护此类系统所需的安全研究,因为设备端模型的本地存储引入了新的安全风险。
MoAI安全新手?从这里开始:
• 智能手机上深度学习应用的初步审视
• iOS应用中设备端模型的初步审视
• 设备端模型的鲁棒性:针对Android应用深度学习模型的对抗性攻击
• DeepPayload:通过神经载荷注入对深度学习模型的黑盒后门攻击
• Typhon Unleashed:针对设备端深度学习模型的实用对抗性权重攻击
• 通过海绵投毒对设备端神经网络的能耗-延迟攻击
• ModelObfuscator:混淆模型信息以保护已部署的基于ML的系统
• ShadowNet:安全高效的设备端模型推理系统
• THEMIS:面向部署后设备端DL模型的实际IP保护
设备端模型的鲁棒性:针对Android应用深度学习模型的对抗性攻击 [代码]
IEEE/ACM软件工程国际会议:软件工程实践(ICSE-SEIP 2021)
智能应用攻击:入侵Android应用中的深度学习模型 [代码]
IEEE信息取证与安全汇刊(TIFS 2022)
理解Android应用中深度学习模型的现实威胁 [代码]
ACM SIGSAC计算机与通信安全会议(CCS 2022)
欺骗你的应用:针对深度学习应用的黑盒对抗性攻击
软件:演化与过程杂志(JSEP 2024)
iOS应用中设备端模型的初步审视 [代码]
ACM软件工程与方法论汇刊(TOSEM 2024)
设备端模型白盒攻击研究 [代码]
IEEE/ACM软件工程国际会议(ICSE 2024)
TIM:实现应用内深度学习模型的大规模白盒测试 [代码]
IEEE信息取证与安全汇刊(TIFS 2024)
DeepPayload:通过神经载荷注入对深度学习模型的黑盒后门攻击 [代码]
IEEE/ACM软件工程国际会议(ICSE 2021)
MalModel:通过黑盒后门攻击在移动深度学习模型中隐藏恶意载荷 [代码]
自动化软件工程(ASEJ 2026)
智能手机上深度学习应用的初步审视 [代码]
万维网会议(WWW 2019)
iOS应用中设备端模型的初步审视 [代码]
ACM软件工程与方法论汇刊(TOSEM 2023)
注意你的权重:移动应用中机器学习模型保护不足的大规模研究 [代码]
USENIX安全研讨会(USENIX Security 2021)
REDLC:面向深度学习编译器的学习驱动逆向工程
IEEE软件可靠性工程国际研讨会(ISSRE 2024)
注意你的权重:移动应用中机器学习模型保护不足的大规模研究 [代码]
USENIX安全研讨会(USENIX Security 2021)
理解Android应用中深度学习模型的现实威胁 [代码]
ACM SIGSAC计算机与通信安全会议(CCS 2022)
DeMistify:识别移动应用中设备端机器学习模型窃取和重用漏洞 [代码]
IEEE/ACM软件工程国际会议(ICSE 2024)
箭之战:论设备端TEE防护LLM分区算法权重混淆的(不)安全性 [代码]
USENIX安全研讨会(USENIX Security 2025)
基于功耗侧信道的设备端深度学习模型提取攻击
IEEE国际质量电子设计研讨会(ISQED 2024)
DeepCache:重新审视深度神经网络可执行文件中的缓存侧信道攻击
ACM SIGSAC计算机与通信安全会议(CCS 2024)
ModelObfuscator:混淆模型信息以保护已部署的基于ML的系统 [代码]
ACM SIGSOFT软件测试与分析国际研讨会(ISSTA 2023)
DynaMO:通过耦合混淆DL算子保护移动DL模型 [代码]
IEEE/ACM自动化软件工程国际会议(ASE 2024)
无模型即最佳模型:生成纯代码实现以替代设备端DL模型 [代码]
ACM SIGSOFT软件测试与分析国际研讨会(ISSTA 2024)
NNSplitter:通过自动化权重混淆实现DNN模型的主动防御方案 [代码]
国际机器学习会议(ICML 2023)
一种基于多数逻辑的新型混淆方法,用于防止对二进制深度神经网络的未授权访问
科学报告(Sci. Rep. 2025)
通过硬件绑定和可逆混淆保护设备端Transformer [代码]
年度计算机安全应用会议(ACSAC 2025)
MMGuard:自动保护Android应用中的设备端深度学习模型 [代码]
IEEE安全与隐私研讨会(SPW 2021)
通过硬件绑定和可逆混淆保护设备端Transformer [代码]
年度计算机安全应用会议(ACSAC 2025)
Offline Model Guard:移动设备上的安全私有ML
欧洲设计、自动化与测试会议(DATE 2020)
GuardiaNN:利用嵌入式SRAM和密码硬件在TrustZone中实现快速安全的设备端推理
ACM/IFIP国际中间件会议(Middleware 2022)
使用可信执行环境实现安全高效的移动DNN
ACM亚洲计算机与通信安全会议(AsiaCCS 2023)
T-Slices:使用Arm TrustZone在不可信边缘实现深度学习推理的机密执行
ACM数据与应用安全与隐私会议(CODASPY 2023)
LEAP:面向智能移动应用的基于TrustZone的开发者友好型TEE
IEEE移动计算汇刊(TMC 2022)
ASGARD:使用基于虚拟化的可信执行环境保护设备端深度神经网络 [代码]
网络与分布式系统安全研讨会(NDSS 2025)
TZ-LLM:使用Arm TrustZone保护设备端大语言模型 [代码]
欧洲计算机系统会议(EuroSys 2026)
FlexServe:面向移动设备的快速安全LLM服务系统,支持灵活资源隔离
arXiv预印本(arXiv 2026)
DarkneTZ:使用可信执行环境实现边缘模型隐私 [代码]
年度国际移动系统、应用与服务会议(MobiSys 2020)
HybridTEE:使用混合可信执行环境实现安全移动DNN执行 [代码]
亚洲硬件导向安全与信任研讨会(AsianHOST 2020)- SecDeep:面向移动与物联网设备的安全高性能端侧深度学习推理框架
物联网设计与实现国际会议(IoTDI 2021)
ShadowNet:面向卷积神经网络的安全高效端侧模型推理系统 [代码]
IEEE安全与隐私研讨会(S&P 2023)
MirrorNet:面向安全端侧DNN推理的TEE友好框架
IEEE/ACM国际计算机辅助设计会议(ICCAD 2023)
TSQP:保障边缘设备上量化神经网络实时推理的安全 [代码]
IEEE安全与隐私研讨会(S&P 2025)
TEESlice:在攻击者拥有预训练模型时于可信执行环境中保护敏感神经网络模型
ACM软件工程与方法论汇刊(TOSEM 2025)
TensorShield:通过TEE屏蔽关键DNN张量以保障端侧推理安全 [代码]
ACM SIGSAC计算机与通信安全会议(CCS 2025)
GroupCover:基于TEE的端侧模型保护安全、高效且可扩展的推理框架 [代码]
国际机器学习会议(ICML 2024)
箭之博弈:论端侧TEE屏蔽LLM分区算法中权重混淆的(不)安全性 [代码]
USENIX安全研讨会(USENIX Security 2025)
MirageNet:异构TEE与GPU系统中的安全、高效且可扩展的端侧模型保护
arXiv预印本(arXiv 2026)
以下开放问题总结了我们在SoK中识别出的主要研究空白。我们在此为使用本仓库的读者提供高层级描述。更深入的技术讨论可在论文中找到。
攻击部署的实用性。
针对端侧模型的对抗性攻击在部署后仍难以实现,因为它们通常需要控制模型输入、插入对抗性扰动,或通过应用重打包来修改预处理代码。这些步骤在真实终端用户部署中可能不切实际或容易被检测。
隐蔽的模型修改。
由于端侧模型通常是只读且仅用于推理的,后门攻击需要在标准训练时投毒之外寻找部署后的入口点。关键挑战在于引入隐藏的恶意行为而不在模型工件中产生可观察的变化。
精确的权重定位。
对抗性权重攻击暴露了参数级完整性风险,但实际部署取决于在庞大的参数搜索空间中定位行为关键权重。这很困难,因为攻击者通常缺乏梯度指导,并且需要在仅修改选定参数的同时保持良性效用。
可靠的模型提取。
本地模型存储并不会使模型窃取变得简单。在存在定制加密算法、非标准AI框架和运行时特定加载行为的情况下,实际提取仍依赖于可靠的模型识别、解密和重建。
硬件异构性。
能量-延迟攻击取决于中毒激活模式如何与设备特定的执行行为交互。它们可能在稀疏性敏感的加速器上放大延迟和能耗,但在没有稀疏性依赖执行的硬件上则无法迁移。
可执行等价性。
模型混淆仍需在授权推理期间保持原始预测函数。这种可执行等价性可能暴露可恢复的运行时状态、变换后的权重、算子语义或结构轨迹,从而促成语义、结构或参数恢复。
客户端强制执行。
模型授权将正确推理绑定到凭据、完整性检查和打包权重恢复。然而,这些检查需要在移动端栈内执行,使得强制执行依赖于部署后可被逆向工程、重打包、挂钩或插桩的客户端代码。
TEE部署可行性。
TEE防御需要模型格式、AI框架、算子库、委托、加速器以及CPU/GPU/NPU隔离接口之间的协调支持。当前移动生态系统仍缺乏广泛采用、对开发者透明的TEE后端侧推理栈。
水印鲁棒性。
模型水印支持部署后的所有权验证,但被窃取的模型可能通过框架转换、加密或应用级输入输出中介被重新部署。这些变换可能在保持良性推理的同时破坏用于验证的触发响应、置信度模式或输出语义。
除了上述九个开放问题之外,我们的SoK还强调了三个新兴方向,MoAI安全很可能在这些方向上进一步扩展。这些方向将MoAI安全研究引向系统性评估,同时将其范围扩展到端侧训练和智能体MoAI系统引入的新兴攻击面。我们在此进行高层级总结。配套论文提供了更详细的动机、威胁面和研究挑战。
现有的MoAI安全研究使用自收集数据集、方法特定指标和不同威胁模型来评估攻击与防御,且通常局限于单一平台(Android或iOS)。这使得评估结果难以比较,并忽视了平台特定差异。未来工作应建立统一基准,标准化数据集、指标和威胁模型,并支持跨平台评估,以实现对MoAI安全的系统性、可比性和可复现性评估。
当前MoAI安全研究主要关注只读且仅用于推理的已部署模型。端侧训练改变了这一假设,允许模型在本地更新,从而在训练过程中暴露梯度、参数更新和用户数据。这为本地微调、更新完整性、训练数据暴露、个性化投毒以及终端用户设备上训练时状态的防御开辟了新的问题。
MoAI系统正从被动本地推理演变为将模型与传感器、私有用户数据、应用上下文、操作系统服务和跨应用接口相连接的智能体工作流。这将安全焦点从仅保护模型工件转向治理上下文到行动的链条。未来工作应研究移动上下文的溯源、可信用户意图与不可信环境内容的分离、工具和API使用的任务范围权限、敏感操作的确认与回滚,以及智能体计划、记忆和行动的审计。
| MoAI安全支柱 | 保护对象 | 代表性攻击 | 代表性防御 |
|---|
| 用户主导的输入完整性 | 用户输入的端到端完整性,从移动数据采集到模型输入交接 | 对抗性攻击、后门攻击、能耗-延迟攻击 | - |
| 设备驻留模型安全 | 已部署的模型工件以及模型在设备上存储、加载、转换或物化的所有部署后形态 | 对抗性攻击、后门攻击、对抗性权重攻击、模型窃取攻击、能耗-延迟攻击 | 模型混淆、模型授权、TEE、模型水印 |
| 设备原生环境隔离 | 跨移动操作系统、AI运行时、内存子系统和硬件支持执行环境的敏感推理计算和运行时状态 | 模型窃取攻击、能耗-延迟攻击 | 模型混淆、TEE |