返回更新列表
已更新Jul 21, 2026

Awesome-MoAI-Security — 已更新!

针对移动端设备上AI系统的攻击与防御研究精选阅读清单及分类体系，涵盖对抗攻击、后门攻击、模型窃取攻击及能耗-延迟攻击，同时涉及混淆、TEE与水印防御措施。

分享

移动端设备端AI安全资源精选

SoK：移动设备端AI系统的攻防全景

移动设备端AI系统通过 LiteRT/TFLite、Core ML、ExecuTorch、ONNX 等机器学习框架以及硬件加速器在本地执行AI模型。本仓库追踪理解和保护此类系统所需的安全研究，因为设备端模型的本地存储引入了新的安全风险。

移动设备端AI系统概览

移动设备端AI系统概览

目录

阅读路线图

MoAI安全新手？从这里开始：

  1. 了解生态系统。 阅读关于Android/iOS应用中深度学习应用和设备端模型的实证研究。
  2. 学习核心风险。 研究模型提取和模型保护相关论文，因为本地模型驻留是MoAI系统安全转变的核心。
  3. 理解攻击面。 研究MoAI攻击如何跨越输入接口、模型工件、运行时执行和硬件支持环境产生。
  4. 将防御与攻击面关联。 考察MoAI防御如何在部署前、运行时执行和部署后阶段保护这些攻击面。
  5. 展望未来。 探索设备端训练、设备端生成式AI和智能体MoAI系统中的新安全挑战。
面向MOAI安全新手的极简首周阅读路径。


•  智能手机上深度学习应用的初步审视
•  iOS应用中设备端模型的初步审视


•  注意你的权重：移动应用中ML模型保护不足的大规模研究


•  设备端模型的鲁棒性：针对Android应用深度学习模型的对抗性攻击
•  DeepPayload：通过神经载荷注入对深度学习模型的黑盒后门攻击
•  Typhon Unleashed：针对设备端深度学习模型的实用对抗性权重攻击
•  通过海绵投毒对设备端神经网络的能耗-延迟攻击


•  ModelObfuscator：混淆模型信息以保护已部署的基于ML的系统
•  ShadowNet：安全高效的设备端模型推理系统
•  THEMIS：面向部署后设备端DL模型的实际IP保护

分类体系速览

MoAI安全支柱保护对象代表性攻击代表性防御
用户主导的输入完整性用户输入的端到端完整性，从移动数据采集到模型输入交接对抗性攻击、后门攻击、能耗-延迟攻击-
设备驻留模型安全已部署的模型工件以及模型在设备上存储、加载、转换或物化的所有部署后形态对抗性攻击、后门攻击、对抗性权重攻击、模型窃取攻击、能耗-延迟攻击模型混淆、模型授权、TEE、模型水印
设备原生环境隔离跨移动操作系统、AI运行时、内存子系统和硬件支持执行环境的敏感推理计算和运行时状态模型窃取攻击、能耗-延迟攻击模型混淆、TEE

跨支柱安全分析

MoAI系统中攻击和开放问题的跨支柱安全分析。 MoAI系统中防御和开放问题的跨支柱安全分析。

针对MoAI系统的攻击

模型相似性利用

梯度重建

预处理操纵

载荷注入

模型量化

图像隐写

静态分析

动态分析

侧信道

针对MoAI系统的防御

软件级隐藏

硬件级隐藏

整体式执行

分区执行

混淆卸载

开放问题

以下开放问题总结了我们在SoK中识别出的主要研究空白。我们在此为使用本仓库的读者提供高层级描述。更深入的技术讨论可在论文中找到。

  1. 攻击部署的实用性。
    针对端侧模型的对抗性攻击在部署后仍难以实现，因为它们通常需要控制模型输入、插入对抗性扰动，或通过应用重打包来修改预处理代码。这些步骤在真实终端用户部署中可能不切实际或容易被检测。

  2. 隐蔽的模型修改。
    由于端侧模型通常是只读且仅用于推理的，后门攻击需要在标准训练时投毒之外寻找部署后的入口点。关键挑战在于引入隐藏的恶意行为而不在模型工件中产生可观察的变化。

  3. 精确的权重定位。
    对抗性权重攻击暴露了参数级完整性风险，但实际部署取决于在庞大的参数搜索空间中定位行为关键权重。这很困难，因为攻击者通常缺乏梯度指导，并且需要在仅修改选定参数的同时保持良性效用。

  4. 可靠的模型提取。
    本地模型存储并不会使模型窃取变得简单。在存在定制加密算法、非标准AI框架和运行时特定加载行为的情况下，实际提取仍依赖于可靠的模型识别、解密和重建。

  5. 硬件异构性。
    能量-延迟攻击取决于中毒激活模式如何与设备特定的执行行为交互。它们可能在稀疏性敏感的加速器上放大延迟和能耗，但在没有稀疏性依赖执行的硬件上则无法迁移。

  1. 可执行等价性。
    模型混淆仍需在授权推理期间保持原始预测函数。这种可执行等价性可能暴露可恢复的运行时状态、变换后的权重、算子语义或结构轨迹，从而促成语义、结构或参数恢复。

  2. 客户端强制执行。
    模型授权将正确推理绑定到凭据、完整性检查和打包权重恢复。然而，这些检查需要在移动端栈内执行，使得强制执行依赖于部署后可被逆向工程、重打包、挂钩或插桩的客户端代码。

  3. TEE部署可行性。
    TEE防御需要模型格式、AI框架、算子库、委托、加速器以及CPU/GPU/NPU隔离接口之间的协调支持。当前移动生态系统仍缺乏广泛采用、对开发者透明的TEE后端侧推理栈。

  4. 水印鲁棒性。
    模型水印支持部署后的所有权验证，但被窃取的模型可能通过框架转换、加密或应用级输入输出中介被重新部署。这些变换可能在保持良性推理的同时破坏用于验证的触发响应、置信度模式或输出语义。

新兴方向

除了上述九个开放问题之外，我们的SoK还强调了三个新兴方向，MoAI安全很可能在这些方向上进一步扩展。这些方向将MoAI安全研究引向系统性评估，同时将其范围扩展到端侧训练和智能体MoAI系统引入的新兴攻击面。我们在此进行高层级总结。配套论文提供了更详细的动机、威胁面和研究挑战。

现有的MoAI安全研究使用自收集数据集、方法特定指标和不同威胁模型来评估攻击与防御，且通常局限于单一平台（Android或iOS）。这使得评估结果难以比较，并忽视了平台特定差异。未来工作应建立统一基准，标准化数据集、指标和威胁模型，并支持跨平台评估，以实现对MoAI安全的系统性、可比性和可复现性评估。

当前MoAI安全研究主要关注只读且仅用于推理的已部署模型。端侧训练改变了这一假设，允许模型在本地更新，从而在训练过程中暴露梯度、参数更新和用户数据。这为本地微调、更新完整性、训练数据暴露、个性化投毒以及终端用户设备上训练时状态的防御开辟了新的问题。

MoAI系统正从被动本地推理演变为将模型与传感器、私有用户数据、应用上下文、操作系统服务和跨应用接口相连接的智能体工作流。这将安全焦点从仅保护模型工件转向治理上下文到行动的链条。未来工作应研究移动上下文的溯源、可信用户意图与不可信环境内容的分离、工具和API使用的任务范围权限、敏感操作的确认与回滚，以及智能体计划、记忆和行动的审计。

阅读更多

分类

Android安全iOS安全逆向工程隐写术移动安全硬件安全机器学习论文与研究学习与教育精选资源AI 安全对抗性攻击