针对移动端设备上AI系统的攻击与防御研究精选阅读清单及分类体系,涵盖对抗攻击、后门攻击、模型窃取攻击及能耗-延迟攻击,同时涉及混淆、TEE与水印防御措施。
移动设备端AI系统通过 LiteRT/TFLite、Core ML、ExecuTorch、ONNX 等机器学习框架以及硬件加速器在本地执行AI模型。本仓库追踪理解和保护此类系统所需的安全研究,因为设备端模型的本地存储引入了新的安全风险。
MoAI安全新手?从这里开始:
• 智能手机上深度学习应用的初步审视
• iOS应用中设备端模型的初步审视
• 设备端模型的鲁棒性:针对Android应用深度学习模型的对抗性攻击
• DeepPayload:通过神经载荷注入对深度学习模型的黑盒后门攻击
• Typhon Unleashed:针对设备端深度学习模型的实用对抗性权重攻击
• 通过海绵投毒对设备端神经网络的能耗-延迟攻击
• ModelObfuscator:混淆模型信息以保护已部署的基于ML的系统
• ShadowNet:安全高效的设备端模型推理系统
• THEMIS:面向部署后设备端DL模型的实际IP保护
| MoAI安全支柱 | 保护对象 | 代表性攻击 | 代表性防御 |
|---|---|---|---|
| 用户主导的输入完整性 | 用户输入的端到端完整性,从移动数据采集到模型输入交接 | 对抗性攻击、后门攻击、能耗-延迟攻击 | - |
| 设备驻留模型安全 | 已部署的模型工件以及模型在设备上存储、加载、转换或物化的所有部署后形态 | 对抗性攻击、后门攻击、对抗性权重攻击、模型窃取攻击、能耗-延迟攻击 | 模型混淆、模型授权、TEE、模型水印 |
| 设备原生环境隔离 | 跨移动操作系统、AI运行时、内存子系统和硬件支持执行环境的敏感推理计算和运行时状态 | 模型窃取攻击、能耗-延迟攻击 | 模型混淆、TEE |
设备端模型的鲁棒性:针对Android应用深度学习模型的对抗性攻击 [代码]
IEEE/ACM软件工程国际会议:软件工程实践(ICSE-SEIP 2021)
智能应用攻击:入侵Android应用中的深度学习模型 [代码]
IEEE信息取证与安全汇刊(TIFS 2022)
理解Android应用中深度学习模型的现实威胁 [代码]
ACM SIGSAC计算机与通信安全会议(CCS 2022)
欺骗你的应用:针对深度学习应用的黑盒对抗性攻击
软件:演化与过程杂志(JSEP 2024)
iOS应用中设备端模型的初步审视 [代码]
ACM软件工程与方法论汇刊(TOSEM 2024)
设备端模型白盒攻击研究 [代码]
IEEE/ACM软件工程国际会议(ICSE 2024)
TIM:实现应用内深度学习模型的大规模白盒测试 [代码]
IEEE信息取证与安全汇刊(TIFS 2024)
DeepPayload:通过神经载荷注入对深度学习模型的黑盒后门攻击 [代码]
IEEE/ACM软件工程国际会议(ICSE 2021)
MalModel:通过黑盒后门攻击在移动深度学习模型中隐藏恶意载荷 [代码]
自动化软件工程(ASEJ 2026)