FreeMOCA: Speicherfreies kontinuierliches Lernen für die Analyse von Schadcode

Zahra Asadi*, Haeseung Jeon*, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman†

*Gleichberechtigte Autoren. †Korrespondierender Autor.

[!NOTE] Dies ist die offizielle Implementierung des Papers FreeMOCA: Memory-Free Continual Learning for Malicious Code Analysis.

FreeMOCA-Pipeline

FreeMOCA arbeitet nach folgendem Prozess:

Aufgaben treffen nacheinander ein, wobei jede neue Malware-Familien einführt.
Das Modell für jede Aufgabe wird aus der vorherigen Aufgabe initialisiert (Warmstart), um die Aufgaben-Minima im Parameterraum auszurichten.
Nach dem Training wird eine auf Modenkonnektivität basierende Interpolation zwischen den Optima der aktuellen und der vorherigen Aufgabe berechnet. Dieser Prozess kann eine adaptive schichtweise Interpolation basierend auf der Größe der Parameteraktualisierung verwenden.
Das interpolierte Modell ersetzt das aktuelle Modell und wird für die nächste Aufgabe verwendet.
Es werden keine früheren Daten, Merkmale oder generierten Stichproben gespeichert, was zu speicherfreiem kontinuierlichem Lernen führt.

Der gesamte Prozess konstruiert eine Kette verbundener Lösungen, die auf einer Mannigfaltigkeit mit geringem Verlust liegen, wodurch katastrophales Vergessen erheblich reduziert wird.

Datensätze

FreeMOCA wurde mit zwei groß angelegten Malware-Datensätzen evaluiert: EMBER und Androzoo. Datenquellen:

EMBER: https://github.com/elastic/ember
Androzoo (AZ): https://zenodo.org/records/14537891

Laden Sie den Datensatz herunter und richten Sie ihn im folgenden Verzeichnis ein:

FreeMOCA/data/
├── AZ_Class
│   ├── AZ_Class_Test.npz
│   └── AZ_Class_Train.npz
│
├── AZ_Domain
│   ├── 2008_Domain_AZ_Test_Transfo...
│   ├── 2008_Domain_AZ_Train_Transfo...
│   ├── 2009_Domain_AZ_Test_Transfo...
│   └── ...
│
├── EMBER_Class
│   ├── XY_test.npz
│   └── XY_train.npz
│
└── EMBER_Domain
    ├── 2018-01
    ├── 2018-02
    ├── 2018-03
    └── ...

FreeMOCA ausführen

Dieses Repository unterstützt zwei Szenarien des kontinuierlichen Lernens:

Klasseninkrementelles Lernen (Class-IL): Im Laufe der Aufgaben werden neue Klassen (Malware-Familien) eingeführt.
Domäneninkrementelles Lernen (Domain-IL): Der Labelraum ist festgelegt, aber die Datenverteilung verschiebt sich über die Zeit (z. B. Monate/Jahre).

Schritt 1. Installation

Führen Sie den folgenden Befehl für die

conda create -n freemoca python=3.9
conda activate freemoca
pip install -r requirements.txt

Schritt 2. FreeMOCA ausführen (Class-IL & Domain-IL)

# EMBER Class-IL
cd ./FreeMOCA_Class/EMBER_Class
CUDA_VISIBLE_DEVICES=0 python main.py --train_data /path/to/data --test_data /path/to/data

# AZ Class-IL
cd ./FreeMOCA_Class/AZ_Class
CUDA_VISIBLE_DEVICES=0 python main.py --train_data /path/to/data --test_data /path/to/data

# EMBER Domain-IL
cd ./FreeMOCA_Domain/EMBER_Domain
CUDA_VISIBLE_DEVICES=0 python main.py --data_root /path/to/data/directory

# AZ Domain-IL
cd ./FreeMOCA_Domain/AZ_Domain
CUDA_VISIBLE_DEVICES=0 python main.py --data_root /path/to/data/directory

Für eine detailliertere Einrichtung der Hyperparameter siehe Anhang A. Häufige Argumente für FreeMOCA.

Anhang A. Häufige Argumente für FreeMOCA

Um die Hyperparameter oder experimentellen Einstellungen anzupassen, verwenden Sie die folgenden Argumente:

Um die Standardeinstellungen der Argumente zu ändern, prüfen Sie die Datei arguments.py.

Basislinien

Unser Repository unterstützt Experimente mit den folgenden Standard-Basislinien:

None: Nur auf der aktuellen Aufgabe trainieren (untere Schranke)
Joint: Auf allen bisher gesehenen Daten trainieren (obere Schranke, unpraktikabel)

Sie können es mit dem folgenden Befehl ausführen:

cd /path/to/experiment/directory
CUDA_VISIBLE_DEVICES=0 python none.py --arugment_you_want
CUDA_VISIBLE_DEVICES=0 python joint.py --arugment_you_want

sowie die folgenden früheren Arbeiten:

CLeWI: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "Continual Learning with Weight Interpolation."
WSC: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "Forget Forgetting: Continual Learning in a World of Abundant Memory."
Generative Replay (GR): Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "Continual learning with deep generative replay."
EWC: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "Overcoming catastrophic forgetting in neural networks."
LwF: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "Learning without Forgetting."
iCaRL: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "iCaRL: Incremental Classifier and Representation Learning."
TAMiL: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "Task-Aware Information Routing from Common Representation Space in Lifelong Learning."
MalCL: Modifiziert auf Basis von diesem GitHub-Repository, basierend auf der Arbeit "MalCL: Leveraging GAN-Based Generative Replay to Combat Catastrophic Forgetting in Malware Classification."

Sie können die Basislinien mit dem folgenden Befehl ausführen:

# CLeWI for EMBER-Class
cd ./baselines/CLeWI
CUDA_VISIBLE_DEVICES=6 python main.py --model="clewi" \
  --dataset="seq_ember" --n_tasks=11 \
  --lr=0.001 --buffer_size=500 --n_epochs=50 \
  --seed=42 --optim_wd=0.0 --optim_mom=0.0 \
  --batch_size=512 --sub_dataset="ember"

# CLeWI for AZ-Class
cd ./baselines/CLeWI
CUDA_VISIBLE_DEVICES=6 python main.py --model="clewi" \
  --dataset="seq_ember" --n_tasks=11 \
  --lr=0.001 --buffer_size=500 --n_epochs=50 \
  --seed=42 --optim_wd=0.0 --optim_mom=0.0 \
  --batch_size=512 --sub_dataset="az"

# WSC for EMBER-Class
cd ./baselines/WSC
MODEL_NAME=wsc_20_ember
python main.py --config=./exps/wsc_memory/$MODEL_NAME.json

# WSC for AZ-Class
cd ./baselines/WSC
MODEL_NAME=wsc_20_az
python main.py --config=./exps/wsc_memory/$MODEL_NAME.json

# GR for EMBER-Class
cd ./baselines/GR_EWC_LwF_iCaRL_EMBER
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=EMBER --tasks=11 --replay=generative --metrics --logger_file gr --scenario=class

# GR for AZ-Class
cd ./baselines/GR_EWC_LwF_iCaRL_AZ
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=ANDROZOO --tasks=11 --replay=generative --metrics --logger_file gr --scenario=class

# EWC for EMBER-Class
cd ./baselines/GR_EWC_LwF_iCaRL_EMBER
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=EMBER --tasks=11 --ewc --lambda=50 --metrics --logger_file ewc --scenario=class

# EWC for AZ-Class
cd ./baselines/GR_EWC_LwF_iCaRL_AZ
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=ANDROZOO --tasks=11 --ewc --lambda=50 --metrics --logger_file ewc --scenario=class

# LwF for EMBER-Class
cd ./baselines/GR_EWC_LwF_iCaRL_EMBER
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=EMBER  --tasks=11 --replay=current --distill --metrics --logger_file lwf --scenario=class

# LwF for AZ-Class
cd ./baselines/GR_EWC_LwF_iCaRL_AZ
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=AZ  --tasks=11 --replay=current --distill --metrics --logger_file lwf --scenario=class

# iCaRL for EMBER-Class
cd ./baselines/GR_EWC_LwF_iCaRL_EMBER
CUDA_VISIBLE_DEVICES=1 python main.py --data_set=EMBER --tasks=11 --icarl --budget=2000 --metrics --logger_file=icarl --scenario=class

# iCaRL for AZ-Class
cd ./baselines/GR_EWC_LwF_iCaRL_AZ
CUDA_VISIBLE_DEVICES=0 python main.py --data_set=ANDROZOO --tasks=11 --icarl --budget=2000 --metrics --logger_file=icarl --scenario=class

# TAMiL for EMBER-Class
cd ./baselines/TAMiL_EMBER
CUDA_VISIBLE_DEVICES=0 python main.py

# TAMiL for AZ-Class
cd ./baselines/TAMiL_AZ
CUDA_VISIBLE_DEVICES=0 python main.py

# MalCL for EMBER-Class
cd ./baselines/MalCL_EMBER
CUDA_VISIBLE_DEVICES=0 python main.py --train_data /path/to/data --test_data /path/to/data

# MalCL for AZ-Class
cd ./baselines/AZ_EMBER
CUDA_VISIBLE_DEVICES=0 python main.py --train_data /path/to/data --test_data /path/to/data

`--init_classes`	Anzahl der Klassen bei Aufgabe 0
`--epochs`	Epochen pro Aufgabe
`--batchsize`	Batch-Größe
`--lr`	Lernrate
`--momentum`	SGD-Momentum
`--weight_decay`	Weight Decay
`--lambda_min`	Minimales Interpolationsgewicht
`--lambda_max`	Maximales Interpolationsgewicht

FreeMOCA

Beliebteste