モバイルオンデバイスAIセキュリティのすごいリソース集

SoK: モバイルオンデバイスAIシステムの攻撃と防御の全体像

モバイルオンデバイスAIシステムは、LiteRT/TFLite、Core ML、ExecuTorch、ONNXなどのMLフレームワークとハードウェアバックアップアクセラレータを通じて、AIモデルをローカルで実行します。このリポジトリは、オンデバイスモデルのローカル保存が新たなセキュリティリスクをもたらすため、そのようなシステムを理解し保護するために必要なセキュリティ研究を追跡します。

モバイルオンデバイスAIシステムの概要

目次

• 読書ロードマップ
• 分類の概要
• 柱横断セキュリティ分析
• MoAIシステムへの攻撃
  • 敵対的攻撃
    • モデル類似性の悪用
    • 勾配再構成
    • 前処理操作
  • バックドア攻撃
    • ペイロード注入
    • モデル量子化
    • 画像ステガノグラフィー
  • 敵対的ウェイト攻撃
  • モデル窃取攻撃
    • 静的解析
    • 動的解析
    • サイドチャネル
  • エネルギー・レイテンシ攻撃
• MoAIシステムの防御
  • モデル難読化
    • ソフトウェアレベルの隠蔽
    • ハードウェアレベルの隠蔽
  • モデル認可
  • 信頼できる実行環境
    • モノリシック実行
    • 分割実行
    • 難読化オフロード
  • モデル透かし
• 未解決の問題
• 新たな方向性

読書ロードマップ

MoAIセキュリティに初めて触れる方は、ここから始めてください:

1. エコシステムを理解する。 Android/iOSアプリにおけるディープラーニングアプリとオンデバイスモデルに関する実証研究を読みましょう。
2. 中核リスクを学ぶ。 モデル抽出とモデル保護に関する論文を研究しましょう。ローカルモデルの常駐がMoAIシステムにおける中心的なセキュリティシフトだからです。
3. 攻撃面を理解する。 MoAI攻撃が入力インターフェース、モデルアーティファクト、ランタイム実行、ハードウェアバックアップ環境にわたってどのように発生するかを研究しましょう。
4. 防御を攻撃面に結び付ける。 MoAI防御が展開前、ランタイム実行、展開後の各フェーズでこれらの面をどのように保護するかを検討しましょう。
5. 将来を見据える。 オンデバイストレーニング、オンデバイスGenAI、エージェント型MoAIシステムにおける新たなセキュリティ課題を探りましょう。

•  スマートフォン上のディープラーニングアプリの初期的調査
•  iOSアプリにおけるオンデバイスモデルの初期的調査

•  Mind Your Weight(s): モバイルアプリにおける不十分なMLモデル保護に関する大規模研究

•  オンデバイスモデルの堅牢性: Androidアプリ上のディープラーニングモデルへの敵対的攻撃
•  DeepPayload: ニューラルペイロード注入によるディープラーニングモデルへのブラックボックスバックドア攻撃
•  Typhon Unleashed: オンデバイスディープラーニングモデルに対する実用的な敵対的ウェイト攻撃
•  スポンジポイズニングによるオンデバイスニューラルネットワークへのエネルギー・レイテンシ攻撃

•  ModelObfuscator: 展開されたMLベースシステムを保護するためのモデル情報の難読化
•  ShadowNet: 安全で効率的なオンデバイスモデル推論システム
•  THEMIS: 展開後オンデバイスDLモデルの実用的なIP保護に向けて

分類の概要

MoAIセキュリティの柱	保護対象	代表的な攻撃	代表的な防御
ユーザー管理の入力整合性	モバイルデータ取得からモデル入力への受け渡しまでの、ユーザー入力のエンドツーエンドの整合性	敵対的攻撃、バックドア攻撃、エネルギー・レイテンシ攻撃	-
デバイス常駐モデルのセキュリティ	展開されたモデルアーティファクトと、モデルがデバイス上で保存、読み込み、変換、または実体化されるすべての展開後形態	敵対的攻撃、バックドア攻撃、敵対的ウェイト攻撃、モデル窃取攻撃、エネルギー・レイテンシ攻撃	モデル難読化、モデル認可、TEE、モデル透かし
デバイスネイティブ環境の封じ込め	モバイルOS、AIランタイム、メモリサブシステム、ハードウェアバックアップ実行環境にわたる機密推論計算とランタイム状態	モデル窃取攻撃、エネルギー・レイテンシ攻撃	モデル難読化、TEE

柱横断セキュリティ分析

MoAIシステムへの攻撃

モデル類似性の悪用

• オンデバイスモデルの堅牢性: Androidアプリ上のディープラーニングモデルへの敵対的攻撃 [コード]
  _{IEEE/ACM 国際ソフトウェア工学会議: ソフトウェアエンジニアリング実践 (ICSE-SEIP 2021)}

• Smart App Attack: Androidアプリのディープラーニングモデルをハッキングする [コード]
  _{IEEE 情報フォレンジクスとセキュリティに関するトランザクション (TIFS 2022)}

• Androidアプリにおけるディープラーニングモデルへの現実世界の脅威を理解する [コード]
  _{ACM SIGSAC コンピュータおよび通信セキュリティ会議 (CCS 2022)}

• アプリを騙す: ディープラーニングアプリへのブラックボックス敵対的攻撃
  _{Journal of Software: Evolution and Process (JSEP 2024)}

• iOSアプリにおけるオンデバイスモデルの初期的調査 [コード]
  _{ACM ソフトウェア工学と方法論に関するトランザクション (TOSEM 2024)}

勾配再構成

• オンデバイスモデルに対するホワイトボックス攻撃の調査 [コード]
  _{IEEE/ACM 国際ソフトウェア工学会議 (ICSE 2024)}

• TIM: アプリ内ディープラーニングモデルに対する大規模ホワイトボックステストを可能にする [コード]
  _{IEEE 情報フォレンジクスとセキュリティに関するトランザクション (TIFS 2024)}

前処理操作

• モデルを超えて: Androidアプリのディープラーニングモデルへのデータ前処理攻撃 [コード]
  _{安全で信頼できるディープラーニングシステムワークショップ (SecTL 2023)}

ペイロード注入