POC : обнаружение техник MITRE ATT&CK и обогащение оповещений с помощью ИИ

Этот репозиторий демонстрирует конвейер машинного обучения для обнаружения техник MITRE ATT&CK по логам и обогащения результатов с помощью локальной LLM.

Обзор

Проект состоит из двух основных компонентов:

1. Модель машинного обучения (ML) – классифицирует логи по техникам MITRE ATT&CK
2. Обогащение LLM – дополняет прогноз ML понятными аналитику пояснениями и практическими рекомендациями

Модель машинного обучения

Назначение

Модель ML обучена предсказывать технику MITRE (или BENIGN) по событиям логов.
Это позволяет автоматизировать обнаружение и категоризацию потенциально вредоносной активности.

Подход

• Признак: поле commandline из логов
• Векторизация: TF-IDF (частота термина – обратная частота документа)
• Модель: RandomForestClassifier (устойчивая, интерпретируемая, эффективная на CPU)
• Целевая переменная: mitre_label (например, T1059.001, T1105, BENIGN)

Обучение

python scripts/train_mitre_model.py

Этот скрипт:

• Загружает набор данных dataset_full_160k.csv

• Разделяет данные на обучающий и тестовый наборы

• Преобразует командные строки в TF-IDF векторы

• Обучает модель Random Forest

• Оценивает эффективность (precision, recall, F1-score, матрица ошибок)

• Сохраняет обученную модель и векторизатор:

  • models/mitre_ml_model.pkl

  • models/tfidf_vectorizer.pkl

Обогащение LLM

Назначение

Когда модель ML предсказывает технику MITRE, LLM обогащает результат, предоставляя:

• Пояснение техники

• Почему команда соответствует технике

• Намерения атакующего

• Рекомендуемые шаги расследования

• Предлагаемые правила обнаружения

Этот шаг связывает «сырой» прогноз ML с практическими рекомендациями для аналитика SOC.

Использование

Локальная LLM (например, Phi-3 через Ollama) вызывается с подсказкой (prompt), содержащей:

• Прогноз ML

• Исходная командная строка

python scripts/enrich_with_llm.py

Зависимости Python

pip3 install -r requirements.txt

Библиотеки

• pandas
• scikit-learn
• requests

Примечания

• test_model.py используется для тестирования вашей модели, он необязателен.
• Скрипты предназначены для локального запуска в среде Python 3.13+ с указанными зависимостями.
• Установите Ollama на свою машину и добавьте модель Phi-3 mini.