project/
├── train.py
├── data_loader.py
├── README.md
├── requirements.txt
├── models/
│   ├── control_pathway.py
│   ├── semantic_pathway.py
│   ├── feature_fusion_module.py
│   ├── transformer_llm_module.py
│   └── multi_task_predictor.py

Daten- und Modellquellen

Datensatz

Wir verwenden den LineVul-Datensatz für die Schwachstellenerkennung:

Michael Fu and Chakkrit Tantithamthavorn, "LineVul: A Transformer-based Line-Level Vulnerability Prediction", MSR 2022.
Paper: https://conf.researchr.org/details/msr-2022/msr-2022-technical-papers/26/LineVul-A-Transformer-based-Line-Level-Vulnerability-Prediction
Repository: https://github.com/awsm-research/LineVul

Wir verarbeiten den Datensatz weiter zu Graphstrukturen und ordnen jede Stichprobe den von LLM generierten Erklärungen zu.

Modelle

Wir verwenden die folgenden vortrainierten Modelle:

• OpenAI GPT-4o-mini

  OpenAI, "Hello GPT-4o", 2024.
  URL: https://openai.com/index/hello-gpt-4o/

  • gpt-4o-mini-2024-07-18: wird zum Generieren von LLM-Erklärungen verwendet.

• Qwen-Modelle (Qwen3-Serie)

  Qwen Team, "Qwen3 Technical Report", arXiv:2505.09388, 2025.
  Paper: https://arxiv.org/abs/2505.09388
  Repository: https://github.com/QwenLM/Qwen3

  • Qwen3.5-4B: wird als Backbone für semantische Einbettungen verwendet (nur Einbettungsschicht).

• GraphCodeBERT

  Guo et al., "GraphCodeBERT: Pre-training Code Representations with Data Flow", ICLR 2021.
  Paper: https://arxiv.org/abs/2009.08366
  Repository: https://github.com/microsoft/CodeBERT

Lizenzen

Dieses Projekt verwendet öffentlich verfügbare Datensätze und vortrainierte Modelle. Die jeweiligen Lizenzen sind unten aufgeführt:

• LineVul-Datensatz
  Lizenz: MIT License
  Quelle: https://github.com/awsm-research/LineVul

• OpenAI GPT-4o-mini
  Die Nutzung unterliegt den Nutzungsbedingungen von OpenAI.

• Qwen-Modelle (Qwen3.5-4B)
  Lizenz: Apache License 2.0
  Quelle: https://github.com/QwenLM/Qwen3

• GraphCodeBERT
  Lizenz: MIT License
  Quelle: https://github.com/microsoft/CodeBERT

Alle Ressourcen werden gemäß ihren jeweiligen Lizenzen verwendet.

Umgebungseinrichtung

Anforderungen

python >= 3.9

torch>=2.0.0
torch-geometric>=2.4.0

transformers>=4.35.0
accelerate>=0.25.0
sentencepiece

pandas>=1.5.0
tqdm>=4.60.0

tensorboard

Installation von PyTorch Geometric

PyTorch Geometric (PyG) hängt von CUDA ab. Bitte installieren Sie es entsprechend Ihrer Umgebung.

Datenvorbereitung

Verzeichnisstruktur

data/
├── processed/
│   ├── train_data_masked.pt
│   ├── train_with_llm.csv
│   ├── val_data_masked.pt
│   ├── val_with_llm.csv
│   ├── test_data_masked.pt
│   ├── test_with_llm.csv
├── config/
│   └── node_vocab.json

CSV-Format

Die CSV-Datei muss die folgenden Felder enthalten:

• index: eindeutige Stichproben-ID
• func_before: Quellcode
• llm_explanation: LLM-generierte Erklärung

Graphdaten (.pt)

Jedes PyG-Data-Objekt muss folgende Elemente enthalten:

• index: mit CSV abgeglichen
• x: Knotenmerkmale
• ast_edge_index: AST-Kanten
• cfg_edge_index: CFG-Kanten
• y_f: Funktionsebenen-Label
• y_s: Zeilenebenen-Labels
• line_mask: Zuordnung von Token zu Zeilen

Modellkonfiguration

Das Framework verwendet die folgenden vortrainierten Modelle:

• Semantischer Pfad: Qwen/Qwen3.5-4B
• Transformer-Modul: microsoft/graphcodebert-base

Sie können sie wie folgt ändern:

--llm_model_name
--transformer_base_name

Schnellstart

python train.py \
  --train_pt_path ./data/processed/train_data_masked.pt \
  --train_csv_path ./data/processed/train_with_llm.csv \
  --valid_pt_path ./data/processed/val_data_masked.pt \
  --valid_csv_path ./data/processed/val_with_llm.csv \
  --vocab_path ./data/config/node_vocab.json \
  --output_dir ./outputs \
  --run_name demo

Ausgabe

Die Ergebnisse werden gespeichert unter:

outputs/<run_name>/

Einschließlich:

• Modell-Checkpoints
• Logs
• result.json