アップデート一覧に戻る
UpdatedJul 21, 2026

Awesome-MoAI-Security — Updated!

モバイルオンデバイスAIシステムの攻撃と防御研究に関する厳選された読書リストと分類法。敵対的攻撃、バックドア攻撃、モデル窃取攻撃、エネルギー遅延攻撃とともに、難読化、TEE、ウォーターマーキング防御を網羅しています。

共有

モバイルオンデバイスAIセキュリティのすごいリソース集

SoK: モバイルオンデバイスAIシステムの攻撃と防御の全体像

モバイルオンデバイスAIシステムは、LiteRT/TFLite、Core ML、ExecuTorch、ONNXなどのMLフレームワークとハードウェアバックアップアクセラレータを通じて、AIモデルをローカルで実行します。このリポジトリは、オンデバイスモデルのローカル保存が新たなセキュリティリスクをもたらすため、そのようなシステムを理解し保護するために必要なセキュリティ研究を追跡します。

モバイルオンデバイスAIシステムの概要

Overview of a Mobile On-Device AI system

目次

読書ロードマップ

MoAIセキュリティに初めて触れる方は、ここから始めてください:

  1. エコシステムを理解する。 Android/iOSアプリにおけるディープラーニングアプリとオンデバイスモデルに関する実証研究を読みましょう。
  2. 中核リスクを学ぶ。 モデル抽出とモデル保護に関する論文を研究しましょう。ローカルモデルの常駐がMoAIシステムにおける中心的なセキュリティシフトだからです。
  3. 攻撃面を理解する。 MoAI攻撃が入力インターフェース、モデルアーティファクト、ランタイム実行、ハードウェアバックアップ環境にわたってどのように発生するかを研究しましょう。
  4. 防御を攻撃面に結び付ける。 MoAI防御が展開前、ランタイム実行、展開後の各フェーズでこれらの面をどのように保護するかを検討しましょう。
  5. 将来を見据える。 オンデバイストレーニング、オンデバイスGenAI、エージェント型MoAIシステムにおける新たなセキュリティ課題を探りましょう。
A minimal first-week reading path for newcomers to MOAI security.


•  スマートフォン上のディープラーニングアプリの初期的調査
•  iOSアプリにおけるオンデバイスモデルの初期的調査


•  Mind Your Weight(s): モバイルアプリにおける不十分なMLモデル保護に関する大規模研究


•  オンデバイスモデルの堅牢性: Androidアプリ上のディープラーニングモデルへの敵対的攻撃
•  DeepPayload: ニューラルペイロード注入によるディープラーニングモデルへのブラックボックスバックドア攻撃
•  Typhon Unleashed: オンデバイスディープラーニングモデルに対する実用的な敵対的ウェイト攻撃
•  スポンジポイズニングによるオンデバイスニューラルネットワークへのエネルギー・レイテンシ攻撃


•  ModelObfuscator: 展開されたMLベースシステムを保護するためのモデル情報の難読化
•  ShadowNet: 安全で効率的なオンデバイスモデル推論システム
•  THEMIS: 展開後オンデバイスDLモデルの実用的なIP保護に向けて

分類の概要

MoAIセキュリティの柱保護対象代表的な攻撃代表的な防御
ユーザー管理の入力整合性モバイルデータ取得からモデル入力への受け渡しまでの、ユーザー入力のエンドツーエンドの整合性敵対的攻撃、バックドア攻撃、エネルギー・レイテンシ攻撃-
デバイス常駐モデルのセキュリティ展開されたモデルアーティファクトと、モデルがデバイス上で保存、読み込み、変換、または実体化されるすべての展開後形態敵対的攻撃、バックドア攻撃、敵対的ウェイト攻撃、モデル窃取攻撃、エネルギー・レイテンシ攻撃モデル難読化、モデル認可、TEE、モデル透かし
デバイスネイティブ環境の封じ込めモバイルOS、AIランタイム、メモリサブシステム、ハードウェアバックアップ実行環境にわたる機密推論計算とランタイム状態モデル窃取攻撃、エネルギー・レイテンシ攻撃モデル難読化、TEE

柱横断セキュリティ分析

Cross-pillar security analysis of attacks and open problems in MoAI systems. Cross-pillar security analysis of defenses and open problems in MoAI systems.

MoAIシステムへの攻撃

モデル類似性の悪用

勾配再構成

前処理操作

ペイロード注入

モデル量子化

画像ステガノグラフィー

静的解析

動的解析

サイドチャネル

MoAIシステムの防御

ソフトウェアレベルの隠蔽

ハードウェアレベルの隠蔽

モノリシック実行

分割実行

難読化によるオフローディング

未解決の問題

以下の未解決の問題は、私たちのSoKで特定された主要な研究ギャップをまとめたものです。このリポジトリを利用する読者のために、ここでは説明を高水準に保っています。より技術的な議論は論文に記載されています。

  1. 攻撃展開の実用性。
    オンデバイスモデルに対する敵対的攻撃は、モデル入力の制御、敵対的摂動の挿入、または前処理コードを変更するためのアプリの再パッケージ化を必要とすることが多いため、展開後も実現が困難です。これらのステップは、実際のエンドユーザー展開では非現実的または検出可能な場合があります。

  2. ステルス性の高いモデル改変。
    バックドア攻撃は、オンデバイスモデルが通常読み取り専用かつ推論専用であるため、標準的なトレーニング時のポイズニングを超えた展開後のエントリポイントを見つける必要があります。重要な課題は、モデルアーティファクトに観測可能な変化を生じさせることなく、隠れた悪意のある動作を導入することです。

  3. 精密な重みの特定。
    敵対的重み攻撃はパラメータレベルの整合性リスクを露呈しますが、実用的な展開は、大規模なパラメータ探索空間内で動作上重要な重みを特定することに依存します。攻撃者は勾配のガイダンスを欠いていることが多く、選択したパラメータのみを変更しながら良性のユーティリティを維持する必要があるため、これは困難です。

  4. 信頼性の高いモデル抽出。
    ローカルモデルストレージはモデル窃取を単純化しません。実用的な抽出は、カスタマイズされた暗号化アルゴリズム、非標準のAIフレームワーク、およびランタイム固有のロード動作が存在する中で、信頼性の高いモデル識別、復号、および再構築に依然依存しています。

  5. ハードウェアの異種性。
    エネルギー遅延攻撃は、ポイズニングされた活性化パターンがデバイス固有の実行動作とどのように相互作用するかに依存します。これらはスパース性に敏感なアクセラレータでの遅延とエネルギー消費を増幅する可能性がありますが、スパース性依存の実行を持たないハードウェアには転送されない場合があります。

  1. 実行可能な等価性。
    モデル難読化は、許可された推論中に元の予測関数を維持する必要があります。この実行可能な等価性は、意味的、構造的、またはパラメータの回復を可能にする回復可能なランタイム状態、変換された重み、演算子のセマンティクス、または構造的トレースを露呈する可能性があります。

  2. クライアント側の強制。
    モデル認可は、正しい推論を資格情報、整合性チェック、およびパックされた重みの回復に結び付けます。ただし、これらのチェックはモバイルスタック内で実行する必要があり、展開後にリバースエンジニアリング、再パッケージ化、フック、またはインストルメント化できるクライアント側コードに強制が依存することになります。

  3. TEE展開の実現可能性。
    TEE防御は、モデル形式、AIフレームワーク、演算子ライブラリ、デリゲート、アクセラレータ、およびCPU/GPU/NPU分離インターフェースにわたる協調的なサポートを必要とします。現在のモバイルエコシステムには、広く採用され、開発者透過的なTEEバックアップ推論スタックが依然として不足しています。

  4. ウォーターマークの堅牢性。
    モデルウォーターマーキングは展開後の所有権検証を可能にしますが、窃取されたモデルはフレームワーク変換、暗号化、またはアプリレベルの入出力仲介を通じて再展開される可能性があります。これらの変換は、検証に使用されるトリガー応答、信頼パターン、または出力セマンティクスを破壊しながら、良性の推論を維持する可能性があります。

新たな方向性

上記の9つの未解決の問題に加えて、私たちのSoKは、MoAIセキュリティが次に拡大する可能性が高い3つの新たな方向性を強調しています。これらの方向性は、MoAIセキュリティ研究を体系的な評価へと移行させるとともに、オンデバイストレーニングとエージェント型MoAIシステムによって導入される新たな攻撃面にその範囲を拡大します。ここでは高水準で要約します。付随する論文には、より詳細な動機、脅威面、および研究課題が記載されています。

既存のMoAIセキュリティ研究は、自己収集したデータセット、メソッド固有のメトリクス、および異なる脅威モデルを使用して攻撃と防御を評価しており、通常は単一のプラットフォーム（AndroidまたはiOS）に限定されています。これにより、評価結果の比較が困難になり、プラットフォーム固有の違いが見落とされます。将来の研究では、データセット、メトリクス、および脅威モデルを標準化し、MoAIセキュリティの体系的で比較可能かつ再現可能な評価のためのクロスプラットフォーム評価をサポートする統一ベンチマークを確立する必要があります。

現在のMoAIセキュリティ研究は、主に読み取り専用かつ推論専用の展開済みモデルに焦点を当てています。オンデバイストレーニングは、モデルをローカルで更新できるようにすることでこの前提を変更し、トレーニングプロセス中に勾配、パラメータ更新、およびユーザーデータを露呈します。これにより、ローカルファインチューニング、更新の整合性、トレーニングデータの露呈、パーソナライゼーションポイズニング、およびエンドユーザーデバイス上のトレーニング時状態の防御に関する新たな疑問が生じます。

MoAIシステムは、受動的なローカル推論から、モデルをセンサー、プライベートユーザーデータ、アプリコンテキスト、OSサービス、およびクロスアプリインターフェースに接続するエージェント型ワークフローへと進化しています。これにより、セキュリティの焦点は、モデルアーティファクトのみを保護することから、コンテキストからアクションへのチェーンを統治することへと移行します。将来の研究では、モバイルコンテキストの来歴、信頼されたユーザー意図と信頼されていない環境コンテンツの分離、ツールおよびAPI使用のためのタスクスコープ権限、機密アクションの確認とロールバック、およびエージェントの計画、メモリ、アクションの監査を研究する必要があります。

もっと読む

カテゴリ

AndroidセキュリティiOSセキュリティリバースエンジニアリングステガノグラフィーモバイルセキュリティハードウェアセキュリティ機械学習論文と研究学習と教育厳選リソースAIセキュリティ敵対的攻撃