モバイル侵入検知システム

このプロジェクトは、モバイルデバイスからキャプチャしたネットワークトラフィックを処理し、特徴量エンジニアリングを実行し、オートエンコーダベースの深層学習モデルを用いて異常なネットワークフローを検出するモバイル侵入検知システムを実装しています。外部の脅威インテリジェンスとホワイトリストデータを活用して誤検知を削減し、検出精度を向上させます。

目次

• 機能
• アーキテクチャの概要
• インストールと環境設定
• 使用方法
  • トレインモード
  • 予測モード
  • ダッシュボードモード
• データソースと外部参照
• 結論と今後の課題
• 参考文献
• ライセンス

機能

• ネットワークフローのキャプチャ: MITMProxyを使用してモバイルデバイスからHTTPフローをキャプチャします。
• フローの処理とアーカイブ: 上書きを避けるため、以前のフローキャプチャをflows.mitmからflows_1.mitmにリネームしてアーカイブし、その後新しいキャプチャを処理します。
• 特徴量エンジニアリング: キャプチャしたフローから特徴量を抽出し、スケーリングし、ベクトル化します（TF-IDFを使用）。
• 異常検知: 履歴データでオートエンコーダモデルをトレーニングして正常な動作を学習し、再構成誤差に基づいて異常なフローを検出します。
• ホワイトリストフィルタリング: Majestic MillionやTop 1M domains（Kaggle）などのソースからのデータを用いてホワイトリストフィルタリングを適用し、良性の異常を除外します。
• 予測モード: 新しくキャプチャしたデータを処理し、トレーニング済みモデルを適用して、異常とメトリクスを出力します。
• ダッシュボードモード: 結果の可視化と分析のためのインタラクティブなダッシュボード（StreamlitとPlotlyで構築）を提供します。

アーキテクチャの概要

1. フローのキャプチャとアーカイブ

   • MITMProxyがモバイルデバイスからネットワークフローをキャプチャします。
   • 上書きを避けるため、新しいキャプチャの前に既存のキャプチャファイル（flows.mitm）をflows_1.mitmにリネームします。
   • キャプチャしたフローはその後CSVおよびJSON形式に変換されます。

2. 特徴量エンジニアリング

   • 処理済みのフローから特徴量を抽出します。
   • データはスケーラーを用いてスケーリングされ、TF-IDFを用いてベクトル化されます。
   • エンジニアリングされた特徴量はCSVファイルに保存され、モデルのトレーニングと予測に使用されます。

3. モデルのトレーニングと予測

   • トレインモード: 履歴データを処理してオートエンコーダモデルをトレーニングします。トレーニング済みモデルやスケーラーなどのモデルアーティファクトが保存されます。
   • 予測モード: 新しくキャプチャしたデータを処理し、トレーニング済みモデルで予測を実行し、ホワイトリストフィルタリングを適用して誤検知を削減します。

4. 可視化とダッシュボード（オプション）

   • インタラクティブなダッシュボードに、損失曲線、再構成誤差の分布、異常件数などのメトリクスが表示されます。

インストールと環境設定

1. リポジトリのクローン

   git clone https://github.com/yourusername/Mobile-Intrusion-Detection-System.git
   cd Mobile-Intrusion-Detection-System
   

2. 仮想環境の作成と有効化

   python3 -m venv venv
   source venv/bin/activate
   

3. 必要なパッケージのインストール

   pip install tensorflow pandas numpy scikit-learn matplotlib plotly streamlit
   

使用方法

トレインモード

履歴データを処理し、特徴量エンジニアリングを実行し、オートエンコーダモデルをトレーニングするためのトレーニングパイプラインを実行します:

./run_project.sh train

このコマンドは以下のステップを実行します:

• キャプチャされたネットワークフローを処理します。
• 以前のキャプチャファイルをアーカイブします(つまり、flows.mitm は flows_1.mitm にリネームされます)。
• 特徴量を生成し、スケーリングします。
• オートエンコーダモデルをトレーニングし、評価します。
• モデル、スケーラー、実行サマリーを results/ ディレクトリに保存します(run_log.json を含む)。

予測モード

予測を実行する前に、以前のキャプチャデータを保持するため、既存の flows_1.mitm ファイルが(タイムスタンプ付きで)アーカイブされます。その後、新しいフローがキャプチャされ、処理されます:

./run_project.sh predict

このコマンドは以下のステップを実行します:

• 現在の flows_1.mitm ファイルをタイムスタンプ付きでアーカイブします。
• 新たにキャプチャされたフローを処理し、CSV および JSON 形式に変換します。
• 新しい CSV ファイルを所定の場所にコピーし、特徴量エンジニアリングを実行します。
• 学習済みのスケーラーとモデルを読み込みます。
• 新しいデータに対して予測を実行し、ホワイトリストフィルタリングを適用します。
• 予測結果を出力し、更新された run_log.json とともに results/ ディレクトリに保存します。

ダッシュボードモード

結果とパフォーマンス指標を可視化するには、Streamlit を使用してダッシュボードモードを実行します:

./run_project.sh dashboard

ダッシュボードには以下が表示されます：

• 訓練損失と検証損失の曲線。
• 設定されたしきい値を伴う再構成誤差の分布。
• 複数回の実行にわたる異常の件数。
• ホワイトリストフィルタリング前後の一意なURL数の比較。
• さらなる分析のための追加のインタラクティブなプロットとサマリーテーブル。

データソースと外部参照

• ホワイトリストデータ：
  • Majestic Million Report
  • Top 1M Domains Dataset (Kaggle)

結論と今後の課題

Mobile Intrusion Detection Systemは、モバイルデバイスからのネットワークフローデータを効果的に処理し、異常検知にオートエンコーダベースのアプローチを活用することを実証しています。ホワイトリストフィルタリングの統合により誤検知が大幅に削減されますが、予測段階では課題が明らかになりました。特に、良性のGoogle検索関連フローと真に悪意のある活動を区別する点が課題です。これは、異常検知ロジック、特にホワイトリストフィルタリング段階のさらなる改良が必要であることを示しています。今後の課題は、フィルタリングアルゴリズムの改善、追加の脅威インテリジェンスソースの組み込み、より深い洞察のためのダッシュボード機能の拡張に焦点を当てます。

参考文献

• Majestic Million Report
• Top 1M Domains Dataset (Kaggle)
• MITMProxy
• TensorFlow
• Scikit-Learn
• Plotly
• Streamlit

ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。