ProHunter

📋 Aperçu

Ce projet est un module central du système ProHunter, principalement conçu pour effectuer un jugement de malveillance sur les graphes de menaces échantillonnés à partir du module PPG. L'idée principale de cette méthode est qu'elle utilise la correspondance vectorielle de graphes inexacte pour calculer la similarité vectorielle entre les graphes de menaces et les graphes de requêtes d'attaque générés à partir des CTI, produisant des scores de menace pour le jugement. Le framework est illustré ci-dessous.

Remarque : Ce projet sert de module de détection en aval de PPG, c'est-à-dire la représentation et la correspondance des attaques. Pour le workflow complet, y compris le stockage des graphes de provenance et l'échantillonnage des graphes de menaces, veuillez d'abord vous référer au module PPG.

🚀 Démarrage rapide

Prérequis

Version Python : 3.7.12

# Clone the repository
git clone https://github.com/xueboQiu/ProHunter
cd ProHunter

# Install dependencies
pip install -r requirements.txt

📊 Modules fonctionnels

1️⃣ Visualisation des graphes de menaces

Visualisez les graphes de menaces échantillonnés par le module PPG.

Utilisation :

1. Placez les données des graphes de menaces dans le répertoire du jeu de données correspondant :

   root@kitploit:~

   dataset/darpa_cadets/sgs_demo/sce041214_E5A15412-68E0-FD54-A068-DD6114FD9040_2.txt # The case provided for visualization
   

2. Préparez le fichier de mappage (par ex., names.json), qui peut être généré automatiquement en exécutant dataset_preprocess.py (voir le workflow du module de détection des menaces).

3. Modifiez les chemins des ensembles de données dans subgraph_vision.py, puis exécutez le script de visualisation :

   root@kitploit:~

   python subgraph_vision.py
   

   Spécifiez l'ensemble de données correspondant dans le script. Le programme lira et visualisera automatiquement les données de sous-graphes du répertoire sgs_demo.

Exemple de résultat de visualisation :

2️⃣ Module de détection des menaces

Étape 1 : Téléchargement des ensembles de données

Placez les fichiers téléchargés dans le répertoire du projet selon la structure suivante :

datasets/darpa_{dataset_name}/raws/xx.json

Étape 2 : Prétraitement des données

python preprocess/dataset_preprocess.py  # Extract triple information from raw datasets:

Cela génère des fichiers de tuples à l'emplacement :

datasets/darpa_{dataset_name}/tuples/xx.txt

Étape 3 : Construire les ensembles d'entraînement et de test

python preprocess/parse_trace.py

Étape 4 : Entraînement du modèle

python pretrain_gmpt_cl.py --mode={dataset_name} --eval=False

Remarque : Des paramètres supplémentaires (par ex., epoch, taux d'apprentissage) se trouvent dans la fonction parse_args() du fichier util.py.

Étape 5 : Évaluation du modèle

python pretrain_gmpt_cl.py --mode={dataset_name} --eval=True

Le modèle chargera les paramètres depuis models/{dataset_name}/best.pth.

3️⃣ Exemple fourni

Le projet fournit des échantillons prétraités du jeu de données CADETS pour des tests immédiats :

# Direct evaluation (using pre-trained model)
python pretrain_gmpt_cl.py --mode=cadets --eval=True

# Re-train the model
python pretrain_gmpt_cl.py --mode=cadets --eval=False
python pretrain_gmpt_cl.py --mode=cadets --eval=True

Exemples de résultats d'évaluation :

📁 Structure du projet

ProHunter/
├── dataset/
│   └── darpa_cadets/              # Example dataset
│       ├── raws/                  # Raw dataset files
│       ├── sgs_demo/              
│       ├── test/                  
│       ├── train/                 
│       ├── tuples/                # Extracted tuples
│       ├── edge_type_map.json     
│       ├── names.json             # UUID to name mapping 
│       ├── node_type_map.json    
│       └── types.json             # UUID to type mapping
├── models/
│   └── {dataset_name}/
│       └── best.pth               # Trained model parameters
├── preprocess/                    # Data preprocessing scripts
├── subgraph/                      
├── batch.py                       
├── darpa_loader.py                # DARPA data loader
├── darpa_model.py                 
├── dataloader.py                  # Data loading utilities
├── graph_matching.py              
├── pretrain_gmpt_cl.py            # Main training & evaluation script
├── splitters.py                   
├── util.py                        # Utility functions & arguments
├── requirements.txt               # Dependencies
└── readme.md