
Awesome-MoAI-Security — 已更新!
针对移动端设备上AI系统的攻击与防御研究精选阅读清单及分类体系,涵盖对抗攻击、后门攻击、模型窃取攻击及能耗-延迟攻击,同时涉及混淆、TEE与水印防御措施。
移动端设备端AI安全资源精选
SoK:移动设备端AI系统的攻防全景
移动设备端AI系统通过 LiteRT/TFLite、Core ML、ExecuTorch、ONNX 等机器学习框架以及硬件加速器在本地执行AI模型。本仓库追踪理解和保护此类系统所需的安全研究,因为设备端模型的本地存储引入了新的安全风险。
移动设备端AI系统概览
目录
阅读路线图
MoAI安全新手?从这里开始:
- 了解生态系统。 阅读关于Android/iOS应用中深度学习应用和设备端模型的实证研究。
- 学习核心风险。 研究模型提取和模型保护相关论文,因为本地模型驻留是MoAI系统安全转变的核心。
- 理解攻击面。 研究MoAI攻击如何跨越输入接口、模型工件、运行时执行和硬件支持环境产生。
- 将防御与攻击面关联。 考察MoAI防御如何在部署前、运行时执行和部署后阶段保护这些攻击面。
- 展望未来。 探索设备端训练、设备端生成式AI和智能体MoAI系统中的新安全挑战。
• 智能手机上深度学习应用的初步审视
• iOS应用中设备端模型的初步审视
• 设备端模型的鲁棒性:针对Android应用深度学习模型的对抗性攻击
• DeepPayload:通过神经载荷注入对深度学习模型的黑盒后门攻击
• Typhon Unleashed:针对设备端深度学习模型的实用对抗性权重攻击
• 通过海绵投毒对设备端神经网络的能耗-延迟攻击
• ModelObfuscator:混淆模型信息以保护已部署的基于ML的系统
• ShadowNet:安全高效的设备端模型推理系统
• THEMIS:面向部署后设备端DL模型的实际IP保护
分类体系速览
| MoAI安全支柱 | 保护对象 | 代表性攻击 | 代表性防御 |
|---|---|---|---|
| 用户主导的输入完整性 | 用户输入的端到端完整性,从移动数据采集到模型输入交接 | 对抗性攻击、后门攻击、能耗-延迟攻击 | - |
| 设备驻留模型安全 | 已部署的模型工件以及模型在设备上存储、加载、转换或物化的所有部署后形态 | 对抗性攻击、后门攻击、对抗性权重攻击、模型窃取攻击、能耗-延迟攻击 | 模型混淆、模型授权、TEE、模型水印 |
| 设备原生环境隔离 | 跨移动操作系统、AI运行时、内存子系统和硬件支持执行环境的敏感推理计算和运行时状态 | 模型窃取攻击、能耗-延迟攻击 | 模型混淆、TEE |
跨支柱安全分析
针对MoAI系统的攻击
模型相似性利用
-
设备端模型的鲁棒性:针对Android应用深度学习模型的对抗性攻击 [代码]
IEEE/ACM软件工程国际会议:软件工程实践(ICSE-SEIP 2021) -
智能应用攻击:入侵Android应用中的深度学习模型 [代码]
IEEE信息取证与安全汇刊(TIFS 2022) -
理解Android应用中深度学习模型的现实威胁 [代码]
ACM SIGSAC计算机与通信安全会议(CCS 2022) -
欺骗你的应用:针对深度学习应用的黑盒对抗性攻击
软件:演化与过程杂志(JSEP 2024) -
iOS应用中设备端模型的初步审视 [代码]
ACM软件工程与方法论汇刊(TOSEM 2024)
梯度重建
-
设备端模型白盒攻击研究 [代码]
IEEE/ACM软件工程国际会议(ICSE 2024) -
TIM:实现应用内深度学习模型的大规模白盒测试 [代码]
IEEE信息取证与安全汇刊(TIFS 2024)
预处理操纵
- 超越模型:针对Android应用深度学习模型的数据预处理攻击 [代码]
安全可信深度学习系统研讨会(SecTL 2023)
载荷注入
-
DeepPayload:通过神经载荷注入对深度学习模型的黑盒后门攻击 [代码]
IEEE/ACM软件工程国际会议(ICSE 2021) -
MalModel:通过黑盒后门攻击在移动深度学习模型中隐藏恶意载荷 [代码]
自动化软件工程(ASEJ 2026)
模型量化
- 针对深度学习商业框架的量化后门 [代码]
IEEE可靠与安全计算汇刊(TDSC 2024)
图像隐写
- 针对Android应用中真实世界模型的隐蔽后门攻击
arXiv预印本(arXiv 2025)
- Typhon Unleashed:针对设备端深度学习模型的实用对抗性权重攻击
IEEE可靠与安全计算汇刊(TDSC 2026)