ProHunter

📋 Обзор

Этот проект является основным модулем системы ProHunter, предназначенным для оценки вредоносности графов угроз, полученных из модуля PPG. Основная идея этого метода заключается в использовании неточного векторного сопоставления графов для вычисления векторной схожести между графами угроз и графами атакующих запросов, сгенерированными из CTI, с формированием оценки угрозы для принятия решения. Структура системы показана ниже.

Примечание: Этот проект выступает в качестве последующего модуля обнаружения для PPG, т.е. модуля представления атак и сопоставления (Attack Representation & Matching). Полный рабочий процесс, включая хранение графа происхождения данных и выборку графов угроз, описан в модуле PPG.

🚀 Быстрый старт

Требования

Версия Python: 3.7.12

# Clone the repository
git clone https://github.com/xueboQiu/ProHunter
cd ProHunter

# Install dependencies
pip install -r requirements.txt

📊 Функциональные модули

1️⃣ Визуализация графа угроз

Визуализация графов угроз, выбранных модулем PPG.

Использование:

1. Поместите данные графов угроз в соответствующий каталог набора данных:

   root@kitploit:~

   dataset/darpa_cadets/sgs_demo/sce041214_E5A15412-68E0-FD54-A068-DD6114FD9040_2.txt # The case provided for visualization
   

2. Подготовьте файл сопоставления (например, names.json), который может быть автоматически сгенерирован при запуске dataset_preprocess.py (см. рабочий процесс модуля обнаружения угроз)

3. Измените пути к наборам данных в subgraph_vision.py и запустите скрипт визуализации:

   root@kitploit:~

   python subgraph_vision.py
   

   Укажите соответствующий набор данных в скрипте. Программа автоматически прочитает и визуализирует данные подграфов из каталога sgs_demo.

Пример результата визуализации:

2️⃣ Модуль обнаружения угроз

Шаг 1: Загрузка наборов данных

Поместите загруженные файлы в каталог проекта в соответствии со следующей структурой:

datasets/darpa_{dataset_name}/raws/xx.json

Шаг 2: Предобработка данных

python preprocess/dataset_preprocess.py  # Extract triple information from raw datasets:

Это создаст файлы кортежей в:

datasets/darpa_{dataset_name}/tuples/xx.txt

Шаг 3: Формирование обучающего и тестового наборов данных

python preprocess/parse_trace.py

Шаг 4: Обучение модели

python pretrain_gmpt_cl.py --mode={dataset_name} --eval=False

Примечание: Дополнительные параметры (например, количество эпох, скорость обучения) можно найти в функции parse_args() в файле util.py.

Шаг 5: Оценка модели

python pretrain_gmpt_cl.py --mode={dataset_name} --eval=True

Модель загрузит параметры из файла models/{dataset_name}/best.pth.

3️⃣ Предоставленный пример

Проект содержит предварительно обработанные образцы набора данных CADETS для немедленного тестирования:

# Direct evaluation (using pre-trained model)
python pretrain_gmpt_cl.py --mode=cadets --eval=True

# Re-train the model
python pretrain_gmpt_cl.py --mode=cadets --eval=False
python pretrain_gmpt_cl.py --mode=cadets --eval=True

Пример результатов оценки:

📁 Структура проекта

ProHunter/
├── dataset/
│   └── darpa_cadets/              # Example dataset
│       ├── raws/                  # Raw dataset files
│       ├── sgs_demo/              
│       ├── test/                  
│       ├── train/                 
│       ├── tuples/                # Extracted tuples
│       ├── edge_type_map.json     
│       ├── names.json             # UUID to name mapping 
│       ├── node_type_map.json    
│       └── types.json             # UUID to type mapping
├── models/
│   └── {dataset_name}/
│       └── best.pth               # Trained model parameters
├── preprocess/                    # Data preprocessing scripts
├── subgraph/                      
├── batch.py                       
├── darpa_loader.py                # DARPA data loader
├── darpa_model.py                 
├── dataloader.py                  # Data loading utilities
├── graph_matching.py              
├── pretrain_gmpt_cl.py            # Main training & evaluation script
├── splitters.py                   
├── util.py                        # Utility functions & arguments
├── requirements.txt               # Dependencies
└── readme.md