Система обнаружения вторжений для мобильных устройств

Этот проект реализует систему обнаружения вторжений для мобильных устройств, которая обрабатывает сетевой трафик, захваченный с мобильных устройств, выполняет инженерию признаков и использует модель глубокого обучения на основе автоэнкодера для обнаружения аномальных сетевых потоков. Внешние данные об угрозах и данные белого списка используются для снижения числа ложных срабатываний и повышения точности обнаружения.

Возможности

Захват сетевых потоков: Использует MITMProxy для захвата HTTP-потоков с мобильных устройств.
Обработка и архивирование потоков: Архивирует предыдущие захваты потоков путём переименования flows.mitm в flows_1.mitm во избежание перезаписи, затем обрабатывает новые захваты.
Инженерия признаков: Извлекает, масштабирует и векторизует признаки (с помощью TF-IDF) из захваченных потоков.
Обнаружение аномалий: Обучает модель автоэнкодера на исторических данных для изучения нормального поведения и выявления аномальных потоков на основе ошибок реконструкции.
Фильтрация по белому списку: Применяет фильтрацию по белому списку с использованием данных из таких источников, как Majestic Million и Top 1M domains (Kaggle), для отсеивания доброкачественных аномалий.
Режим предсказания: Обрабатывает новые захваченные данные, применяет обученную модель и выводит аномалии вместе с метриками.
Режим панели мониторинга: Предоставляет интерактивную панель мониторинга (построенную на Streamlit и Plotly) для визуализации и анализа результатов.

Обзор архитектуры

Захват и архивирование потоков
- MITMProxy захватывает сетевые потоки с мобильных устройств.
- Существующий файл захвата (flows.mitm) переименовывается в flows_1.mitm перед новым захватом во избежание перезаписи.
- Затем захваченные потоки преобразуются в форматы CSV и JSON.
Инженерия признаков
- Признаки извлекаются из обработанных потоков.
- Данные масштабируются с помощью скейлера и векторизуются с помощью TF-IDF.
- Сформированные признаки сохраняются в CSV-файл и используются для обучения модели и предсказания.
Обучение модели и предсказание
- Режим обучения: Обрабатывает исторические данные для обучения модели автоэнкодера. Артефакты модели, такие как обученная модель и скейлер, сохраняются.
- Режим предсказания: Обрабатывает новые захваченные данные, выполняет предсказания с помощью обученной модели и применяет фильтрацию по белому списку для снижения числа ложных срабатываний.
Визуализация и панель мониторинга (опционально)
- Интерактивная панель мониторинга отображает такие метрики, как кривые потерь, распределения ошибок реконструкции, количество аномалий и другое.

Установка и настройка окружения

Клонируйте репозиторий

git clone https://github.com/yourusername/Mobile-Intrusion-Detection-System.git
cd Mobile-Intrusion-Detection-System

Создайте и активируйте виртуальное окружение
```
python3 -m venv venv
source venv/bin/activate
```

Установите необходимые пакеты

pip install tensorflow pandas numpy scikit-learn matplotlib plotly streamlit

Использование

Режим обучения

Запустите конвейер обучения для обработки исторических данных, выполнения инженерии признаков и обучения модели автоэнкодера:

./run_project.sh train

Эта команда выполняет следующие шаги:

Обрабатывает захваченные сетевые потоки.
Архивирует предыдущий файл захвата (т.е. flows.mitm переименовывается в flows_1.mitm).
Формирует и масштабирует признаки.
Обучает модель автоэнкодера и оценивает её.
Сохраняет модель, масштабировщик и сводку запуска в каталоге results/ (включая run_log.json).

Режим Predict

Перед запуском предсказания существующий файл flows_1.mitm архивируется (с отметкой времени) для сохранения предыдущих данных захвата. Затем захватываются и обрабатываются новые потоки:

./run_project.sh predict

Эта команда выполняет следующие шаги:

Архивирует текущий файл flows_1.mitm с отметкой времени.
Обрабатывает новые захваченные потоки и преобразует их в форматы CSV и JSON.
Копирует новый CSV-файл в ожидаемое место и выполняет feature engineering.
Загружает обученный scaler и модель.
Запускает предсказания на новых данных и применяет фильтрацию по белому списку.
Выводит результаты предсказаний и сохраняет их в каталоге results/ вместе с обновлённым run_log.json.

Режим панели мониторинга

Для визуализации результатов и метрик производительности запустите режим панели мониторинга с помощью Streamlit:

./run_project.sh dashboard

Панель управления отображает:

Кривые потерь при обучении и валидации.
Распределение ошибок реконструкции с установленным порогом.
Количество аномалий по нескольким запускам.
Сравнение количества уникальных URL до и после фильтрации по белому списку.
Дополнительные интерактивные графики и сводные таблицы для дальнейшего анализа.

Источники данных и внешние ссылки

Данные белого списка:
- Majestic Million Report
- Top 1M Domains Dataset (Kaggle)

Заключение и дальнейшая работа

Система обнаружения вторжений для мобильных устройств демонстрирует эффективную обработку данных сетевых потоков с мобильных устройств и использует подход на основе автоэнкодера для обнаружения аномалий. Интеграция фильтрации по белому списку значительно снижает количество ложных срабатываний; однако этап прогнозирования выявил проблемы — в частности, в различении безобидных потоков, связанных с поиском Google, и действительно вредоносной активности. Это указывает на необходимость дальнейшей доработки логики обнаружения аномалий, особенно на этапе фильтрации по белому списку. Дальнейшая работа будет сосредоточена на улучшении алгоритмов фильтрации, включении дополнительных источников данных об угрозах и расширении функциональности панели управления для получения более глубоких аналитических сведений.

Ссылки

Лицензия

Этот проект распространяется под лицензией MIT. Подробности см. в файле LICENSE.

Популярное

Mobile-Intrusion-Detection-System

Описание