Awesome Mobile On-Device AI Security

SoK: Attack and Defense Landscape of Mobile On-device AI Systems

모바일 온디바이스 AI 시스템은 LiteRT/TFLite, Core ML, ExecuTorch, ONNX와 같은 ML 프레임워크와 하드웨어 기반 가속기를 통해 AI 모델을 로컬에서 실행합니다. 이 저장소는 온디바이스 모델의 로컬 저장이 새로운 보안 위험을 도입함에 따라, 이러한 시스템을 이해하고 보호하는 데 필요한 보안 연구를 추적합니다.

모바일 온디바이스 AI 시스템 개요

목차

• 읽기 로드맵
• 분류 체계 한눈에 보기
• 기둥 간 보안 분석
• MoAI 시스템에 대한 공격
  • 적대적 공격
    • 모델 유사성 악용
    • 그래디언트 재구성
    • 전처리 조작
  • 백도어 공격
    • 페이로드 주입
    • 모델 양자화
    • 이미지 스테가노그래피
  • 적대적 가중치 공격
  • 모델 탈취 공격
    • 정적 분석
    • 동적 분석
    • 부채널
  • 에너지-지연 공격
• MoAI 시스템에 대한 방어
  • 모델 난독화
    • 소프트웨어 수준 은닉
    • 하드웨어 수준 은닉
  • 모델 인가
  • 신뢰 실행 환경
    • 모놀리식 실행
    • 분할 실행
    • 난독화된 오프로딩
  • 모델 워터마킹
• 공개 문제
• 떠오르는 방향

읽기 로드맵

MoAI 보안이 처음이신가요? 여기서 시작하세요:

1. 생태계 이해하기. Android/iOS 앱의 딥러닝 앱과 온디바이스 모델에 대한 실증 연구를 읽어보세요.
2. 핵심 위험 배우기. 모델 추출과 모델 보호 논문을 연구하세요. 로컬 모델 상주가 MoAI 시스템의 핵심 보안 변화이기 때문입니다.
3. 공격 표면 이해하기. MoAI 공격이 입력 인터페이스, 모델 아티팩트, 런타임 실행, 하드웨어 기반 환경 전반에서 어떻게 발생하는지 연구하세요.
4. 방어를 표면에 연결하기. MoAI 방어가 배포 전, 런타임 실행, 배포 후 단계에서 이러한 표면을 어떻게 보호하는지 살펴보세요.
5. 미래를 바라보기. 온디바이스 학습, 온디바이스 GenAI, 에이전트형 MoAI 시스템의 새로운 보안 과제를 탐구하세요.

•  A First Look at Deep Learning Apps on Smartphones
•  A First Look at On-device Models in iOS Apps

•  Mind Your Weight(s): A Large-scale Study on Insufficient ML Model Protection in Mobile Apps

•  Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps
•  DeepPayload: Black-box Backdoor Attack on Deep Learning Models through Neural Payload Injection
•  Typhon Unleashed: Practical Adversarial Weight Attacks Against On-Device Deep Learning Models
•  Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

•  ModelObfuscator: Obfuscating Model Information to Protect Deployed ML-based Systems
•  ShadowNet: A Secure and Efficient On-device Model Inference System
•  THEMIS: Towards Practical IP Protection for Post-Deployment On-Device DL Models

분류 체계 한눈에 보기

MoAI 보안 기둥	보호 대상	대표적 공격	대표적 방어
사용자 관리 입력 무결성	모바일 데이터 수집부터 모델 입력 전달까지 사용자 입력의 종단 간 무결성	적대적 공격, 백도어 공격, 에너지-지연 공격	-
기기 상주 모델 보안	배포된 모델 아티팩트와 기기에서 모델이 저장, 로드, 변환, 구체화되는 모든 배포 후 형태	적대적 공격, 백도어 공격, 적대적 가중치 공격, 모델 탈취 공격, 에너지-지연 공격	모델 난독화, 모델 인가, TEE, 모델 워터마킹
기기 네이티브 환경 격리	모바일 OS, AI 런타임, 메모리 하위 시스템, 하드웨어 기반 실행 환경 전반의 민감한 추론 계산 및 런타임 상태	모델 탈취 공격, 에너지-지연 공격	모델 난독화, TEE

기둥 간 보안 분석

MoAI 시스템에 대한 공격

모델 유사성 악용

• Robustness of On-device Models: Adversarial Attack to Deep Learning Models on Android Apps [Code]
  _{IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP 2021)}

• Smart App Attack: Hacking Deep Learning Models in Android Apps [Code]
  _{IEEE Transactions on Information Forensics and Security (TIFS 2022)}

• Understanding Real-world Threats to Deep Learning Models in Android Apps [Code]
  _{ACM SIGSAC Conference on Computer and Communications Security (CCS 2022)}

• Cheating Your Apps: Black-box Adversarial Attacks on Deep Learning Apps
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• A First Look at On-device Models in iOS Apps [Code]
  _{ACM Transactions on Software Engineering and Methodology (TOSEM 2024)}

그래디언트 재구성

• Investigating White-Box Attacks for On-Device Models [Code]
  _{IEEE/ACM International Conference on Software Engineering (ICSE 2024)}