モバイルオンデバイスAIシステムの攻撃と防御研究に関する厳選された読書リストと分類法。敵対的攻撃、バックドア攻撃、モデル窃取攻撃、エネルギー遅延攻撃とともに、難読化、TEE、ウォーターマーキング防御を網羅しています。
モバイルオンデバイスAIシステムは、LiteRT/TFLite、Core ML、ExecuTorch、ONNXなどのMLフレームワークとハードウェアバックアップアクセラレータを通じて、AIモデルをローカルで実行します。このリポジトリは、オンデバイスモデルのローカル保存が新たなセキュリティリスクをもたらすため、そのようなシステムを理解し保護するために必要なセキュリティ研究を追跡します。
MoAIセキュリティに初めて触れる方は、ここから始めてください:
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
オンデバイスモデルの堅牢性: Androidアプリ上のディープラーニングモデルへの敵対的攻撃 [コード]
IEEE/ACM 国際ソフトウェア工学会議: ソフトウェアエンジニアリング実践 (ICSE-SEIP 2021)
Smart App Attack: Androidアプリのディープラーニングモデルをハッキングする [コード]
IEEE 情報フォレンジクスとセキュリティに関するトランザクション (TIFS 2022)
Androidアプリにおけるディープラーニングモデルへの現実世界の脅威を理解する [コード]
ACM SIGSAC コンピュータおよび通信セキュリティ会議 (CCS 2022)
アプリを騙す: ディープラーニングアプリへのブラックボックス敵対的攻撃
Journal of Software: Evolution and Process (JSEP 2024)
iOSアプリにおけるオンデバイスモデルの初期的調査 [コード]
ACM ソフトウェア工学と方法論に関するトランザクション (TOSEM 2024)
オンデバイスモデルに対するホワイトボックス攻撃の調査 [コード]
IEEE/ACM 国際ソフトウェア工学会議 (ICSE 2024)
TIM: アプリ内ディープラーニングモデルに対する大規模ホワイトボックステストを可能にする [コード]
IEEE 情報フォレンジクスとセキュリティに関するトランザクション (TIFS 2024)
DeepPayload: ニューラルペイロード注入によるディープラーニングモデルへのブラックボックスバックドア攻撃 [コード]
IEEE/ACM 国際ソフトウェア工学会議 (ICSE 2021)
MalModel: ブラックボックスバックドア攻撃でモバイルディープラーニングモデルに悪意のあるペイロードを隠す [コード]
自動ソフトウェア工学 (ASEJ 2026)
スマートフォン上のディープラーニングアプリの初期的調査 [コード]
ワールドワイドウェブ会議 (WWW 2019)
iOSアプリにおけるオンデバイスモデルの初期的調査 [コード]
ACM ソフトウェア工学と方法論に関するトランザクション (TOSEM 2023)
Mind Your Weight(s): モバイルアプリにおける不十分な機械学習モデル保護に関する大規模研究 [コード]
USENIX セキュリティシンポジウム (USENIX Security 2021)
REDLC: ディープラーニングコンパイラの学習駆動型リバースエンジニアリング
IEEE 国際ソフトウェア信頼性工学シンポジウム (ISSRE 2024)
Mind Your Weight(s): モバイルアプリにおける不十分な機械学習モデル保護に関する大規模研究 [コード]
USENIX セキュリティシンポジウム (USENIX Security 2021)
Androidアプリにおけるディープラーニングモデルへの現実世界の脅威を理解する [コード]
ACM SIGSAC コンピュータおよび通信セキュリティ会議 (CCS 2022)
DeMistify: モバイルアプリにおけるオンデバイス機械学習モデルの窃取と再利用の脆弱性の特定 [コード]
IEEE/ACM 国際ソフトウェア工学会議 (ICSE 2024)
Game of Arrows: オンデバイスTEEシールドLLM分割アルゴリズムのウェイト難読化の(非)安全性について [コード]
USENIX セキュリティシンポジウム (USENIX Security 2025)
電力サイドチャネルによるオンデバイスディープラーニングに対するモデル抽出攻撃
IEEE 国際品質電子設計シンポジウム (ISQED 2024)
DeepCache: ディープニューラルネットワーク実行ファイルにおけるキャッシュサイドチャネル攻撃の再検討
ACM SIGSAC コンピュータおよび通信セキュリティ会議 (CCS 2024)
ModelObfuscator: 展開されたMLベースシステムを保護するためのモデル情報の難読化 [コード]
ACM SIGSOFT 国際ソフトウェアテストおよび解析シンポジウム (ISSTA 2023)
DynaMO: 難読化されたDL演算子の結合によるモバイルDLモデルの保護 [コード]
IEEE/ACM 国際自動ソフトウェア工学会議 (ASE 2024)
モデルレスが最良のモデル: オンデバイスDLモデルを置き換える純粋なコード実装の生成 [コード]
ACM SIGSOFT 国際ソフトウェアテストおよび解析シンポジウム (ISSTA 2024)
NNSplitter: 自動ウェイト難読化によるDNNモデルの能動的防御ソリューション [コード]
国際機械学習会議 (ICML 2023)
バイナリディープニューラルネットワークへの不正アクセスを防ぐ多数決ロジックに基づく新しい難読化手法
Scientific Reports (Sci. Rep. 2025)
ハードウェアバインディングと可逆難読化によるオンデバイストランスフォーマーの保護 [コード]
年次コンピュータセキュリティアプリケーション会議 (ACSAC 2025)
MMGuard: Androidアプリのオンデバイスディープラーニングモデルを自動的に保護する [コード]
IEEE セキュリティとプライバシーワークショップ (SPW 2021)
ハードウェアバインディングと可逆難読化によるオンデバイストランスフォーマーの保護 [コード]
年次コンピュータセキュリティアプリケーション会議 (ACSAC 2025)
Offline Model Guard: モバイルデバイス上の安全でプライベートなML
欧州設計自動化およびテスト会議 (DATE 2020)
GuardiaNN: 組み込みSRAMと暗号ハードウェアを使用したTrustZoneでの高速かつ安全なオンデバイス推論
ACM/IFIP 国際ミドルウェア会議 (Middleware 2022)
信頼できる実行環境を使用した安全で効率的なモバイルDNN
ACM アジアコンピュータおよび通信セキュリティ会議 (AsiaCCS 2023)
T-Slices: Arm TrustZoneによる信頼されていないエッジでのディープラーニング推論の機密実行
ACM データおよびアプリケーションセキュリティとプライバシー会議 (CODASPY 2023)
LEAP: インテリジェントモバイルアプリ向けのTrustZoneベースの開発者フレンドリーなTEE
IEEE モバイルコンピューティングに関するトランザクション (TMC 2022)
ASGARD: 仮想化ベースの信頼できる実行環境によるオンデバイスディープニューラルネットワークの保護 [コード]
ネットワークおよび分散システムセキュリティシンポジウム (NDSS 2025)
TZ-LLM: Arm TrustZoneによるオンデバイス大規模言語モデルの保護 [コード]
欧州コンピュータシステム会議 (EuroSys 2026)
FlexServe: 柔軟なリソース分離を備えたモバイルデバイス向けの高速かつ安全なLLMサービスシステム
arXivプレプリント (arXiv 2026)
DarkneTZ: 信頼できる実行環境を使用したエッジでのモデルプライバシーに向けて [コード]
年次国際モバイルシステム、アプリケーション、サービス会議 (MobiSys 2020)
HybridTEE: ハイブリッド信頼できる実行環境を使用した安全なモバイルDNN実行 [コード]
アジアハードウェア指向セキュリティおよびトラストシンポジウム (AsianHOST 2020)- SecDeep: モバイルおよびIoTデバイス向けのセキュアで高性能なオンデバイス深層学習推論フレームワーク
モノのインターネット設計・実装に関する国際会議 (IoTDI 2021)
ShadowNet: 畳み込みニューラルネットワーク向けのセキュアで効率的なオンデバイスモデル推論システム [コード]
IEEEセキュリティおよびプライバシーシンポジウム (S&P 2023)
MirrorNet: セキュアなオンデバイスDNN推論のためのTEEフレンドリーなフレームワーク
IEEE/ACM コンピュータ支援設計に関する国際会議 (ICCAD 2023)
TSQP: エッジデバイス上の量子化ニューラルネットワークのリアルタイム推論を保護する [コード]
IEEEセキュリティおよびプライバシーシンポジウム (S&P 2025)
TEESlice: 攻撃者が事前学習モデルを保有する場合に、信頼できる実行環境内の機密ニューラルネットワークモデルを保護する
ACM Transactions on Software Engineering and Methodology (TOSEM 2025)
TensorShield: TEEによる重要なDNNテンソルのシールドでオンデバイス推論を保護する [コード]
ACM SIGSAC コンピュータおよび通信セキュリティ会議 (CCS 2025)
GroupCover: TEEに基づくオンデバイスモデル保護のためのセキュアで効率的かつスケーラブルな推論フレームワーク [コード]
国際機械学習会議 (ICML 2024)
Game of Arrows: オンデバイスTEEシールドLLM分割アルゴリズムにおける重み難読化の（非）安全性について [コード]
USENIXセキュリティシンポジウム (USENIX Security 2025)
MirageNet: 異種TEEおよびGPUシステムにおけるセキュアで効率的かつスケーラブルなオンデバイスモデル保護
arXivプレプリント (arXiv 2026)
以下の未解決の問題は、私たちのSoKで特定された主要な研究ギャップをまとめたものです。このリポジトリを利用する読者のために、ここでは説明を高水準に保っています。より技術的な議論は論文に記載されています。
攻撃展開の実用性。
オンデバイスモデルに対する敵対的攻撃は、モデル入力の制御、敵対的摂動の挿入、または前処理コードを変更するためのアプリの再パッケージ化を必要とすることが多いため、展開後も実現が困難です。これらのステップは、実際のエンドユーザー展開では非現実的または検出可能な場合があります。
ステルス性の高いモデル改変。
バックドア攻撃は、オンデバイスモデルが通常読み取り専用かつ推論専用であるため、標準的なトレーニング時のポイズニングを超えた展開後のエントリポイントを見つける必要があります。重要な課題は、モデルアーティファクトに観測可能な変化を生じさせることなく、隠れた悪意のある動作を導入することです。
精密な重みの特定。
敵対的重み攻撃はパラメータレベルの整合性リスクを露呈しますが、実用的な展開は、大規模なパラメータ探索空間内で動作上重要な重みを特定することに依存します。攻撃者は勾配のガイダンスを欠いていることが多く、選択したパラメータのみを変更しながら良性のユーティリティを維持する必要があるため、これは困難です。
信頼性の高いモデル抽出。
ローカルモデルストレージはモデル窃取を単純化しません。実用的な抽出は、カスタマイズされた暗号化アルゴリズム、非標準のAIフレームワーク、およびランタイム固有のロード動作が存在する中で、信頼性の高いモデル識別、復号、および再構築に依然依存しています。
ハードウェアの異種性。
エネルギー遅延攻撃は、ポイズニングされた活性化パターンがデバイス固有の実行動作とどのように相互作用するかに依存します。これらはスパース性に敏感なアクセラレータでの遅延とエネルギー消費を増幅する可能性がありますが、スパース性依存の実行を持たないハードウェアには転送されない場合があります。
実行可能な等価性。
モデル難読化は、許可された推論中に元の予測関数を維持する必要があります。この実行可能な等価性は、意味的、構造的、またはパラメータの回復を可能にする回復可能なランタイム状態、変換された重み、演算子のセマンティクス、または構造的トレースを露呈する可能性があります。
クライアント側の強制。
モデル認可は、正しい推論を資格情報、整合性チェック、およびパックされた重みの回復に結び付けます。ただし、これらのチェックはモバイルスタック内で実行する必要があり、展開後にリバースエンジニアリング、再パッケージ化、フック、またはインストルメント化できるクライアント側コードに強制が依存することになります。
TEE展開の実現可能性。
TEE防御は、モデル形式、AIフレームワーク、演算子ライブラリ、デリゲート、アクセラレータ、およびCPU/GPU/NPU分離インターフェースにわたる協調的なサポートを必要とします。現在のモバイルエコシステムには、広く採用され、開発者透過的なTEEバックアップ推論スタックが依然として不足しています。
ウォーターマークの堅牢性。
モデルウォーターマーキングは展開後の所有権検証を可能にしますが、窃取されたモデルはフレームワーク変換、暗号化、またはアプリレベルの入出力仲介を通じて再展開される可能性があります。これらの変換は、検証に使用されるトリガー応答、信頼パターン、または出力セマンティクスを破壊しながら、良性の推論を維持する可能性があります。
上記の9つの未解決の問題に加えて、私たちのSoKは、MoAIセキュリティが次に拡大する可能性が高い3つの新たな方向性を強調しています。これらの方向性は、MoAIセキュリティ研究を体系的な評価へと移行させるとともに、オンデバイストレーニングとエージェント型MoAIシステムによって導入される新たな攻撃面にその範囲を拡大します。ここでは高水準で要約します。付随する論文には、より詳細な動機、脅威面、および研究課題が記載されています。
既存のMoAIセキュリティ研究は、自己収集したデータセット、メソッド固有のメトリクス、および異なる脅威モデルを使用して攻撃と防御を評価しており、通常は単一のプラットフォーム（AndroidまたはiOS）に限定されています。これにより、評価結果の比較が困難になり、プラットフォーム固有の違いが見落とされます。将来の研究では、データセット、メトリクス、および脅威モデルを標準化し、MoAIセキュリティの体系的で比較可能かつ再現可能な評価のためのクロスプラットフォーム評価をサポートする統一ベンチマークを確立する必要があります。
現在のMoAIセキュリティ研究は、主に読み取り専用かつ推論専用の展開済みモデルに焦点を当てています。オンデバイストレーニングは、モデルをローカルで更新できるようにすることでこの前提を変更し、トレーニングプロセス中に勾配、パラメータ更新、およびユーザーデータを露呈します。これにより、ローカルファインチューニング、更新の整合性、トレーニングデータの露呈、パーソナライゼーションポイズニング、およびエンドユーザーデバイス上のトレーニング時状態の防御に関する新たな疑問が生じます。
MoAIシステムは、受動的なローカル推論から、モデルをセンサー、プライベートユーザーデータ、アプリコンテキスト、OSサービス、およびクロスアプリインターフェースに接続するエージェント型ワークフローへと進化しています。これにより、セキュリティの焦点は、モデルアーティファクトのみを保護することから、コンテキストからアクションへのチェーンを統治することへと移行します。将来の研究では、モバイルコンテキストの来歴、信頼されたユーザー意図と信頼されていない環境コンテンツの分離、ツールおよびAPI使用のためのタスクスコープ権限、機密アクションの確認とロールバック、およびエージェントの計画、メモリ、アクションの監査を研究する必要があります。
| MoAIセキュリティの柱 | 保護対象 | 代表的な攻撃 | 代表的な防御 |
|---|
| ユーザー管理の入力整合性 | モバイルデータ取得からモデル入力への受け渡しまでの、ユーザー入力のエンドツーエンドの整合性 | 敵対的攻撃、バックドア攻撃、エネルギー・レイテンシ攻撃 | - |
| デバイス常駐モデルのセキュリティ | 展開されたモデルアーティファクトと、モデルがデバイス上で保存、読み込み、変換、または実体化されるすべての展開後形態 | 敵対的攻撃、バックドア攻撃、敵対的ウェイト攻撃、モデル窃取攻撃、エネルギー・レイテンシ攻撃 | モデル難読化、モデル認可、TEE、モデル透かし |
| デバイスネイティブ環境の封じ込め | モバイルOS、AIランタイム、メモリサブシステム、ハードウェアバックアップ実行環境にわたる機密推論計算とランタイム状態 | モデル窃取攻撃、エネルギー・レイテンシ攻撃 | モデル難読化、TEE |
