manhu2025/dupForschungsframework zur Erkennung und Entfernung von Backdoors in Sprachmodellen, das merkmalsbasierte Anomalieerkennung mit LoRA-basiertem Unlearning über BERT, BART, LLaMA und Qwen hinweg kombiniert.
Dies ist das offizielle Repository für das Paper:
DUP: Detection-guided Unlearning for Backdoor Purification in Language Models
DUP führt ein einheitliches Framework ein, das merkmalsbasierte Anomalieerkennung mit parameter-effizientem Unlearning kombiniert, um Backdoors aus vortrainierten Sprachmodellen zu entfernen. Es ist sowohl bei traditionellen PLMs als auch bei modernen LLMs wirksam, einschließlich BERT, BART, LLaMA 3B und Qwen 3B.
Das DUP-Framework ist in der folgenden Umgebung implementiert und getestet:
Python: 3.10
OS: Ubuntu 22.04
CUDA: 11.8
PyTorch: 2.1.2
Accelerate: 1.0.1
PEFT: 0.12.0
language-tool-python: 2.8.1
Laden Sie die folgenden Modelle herunter und legen Sie sie im Verzeichnis /victim_models ab:
bert-base-uncasedbart-baseLLaMA-3.2-3B-InstructQwen2.5-3BDie vergifteten Datensätze sind bereits vorbereitet und befinden sich in /poison_data
Um Backdoor-Angriffe zu starten:
python demo_attack.py
Unterstützte Angriffe:
Dieses Modul identifiziert vergiftete Eingaben mithilfe von Mahalanobis-Distanz- und Spectral-Signature-Scores mit adaptiver Schichtauswahl.
python demo_detection.py
Dieses Modul entfernt Backdoors mithilfe von LoRA-basierter Destillation, die durch die Erkennung gesteuert wird:
python demo_unlearning.py
.
├── victim_models/ # Pretrained model weights
├── poison_data/ # poisoned datasets
├── openbackdoor/ # Core implementation of backdoor attacks and defenses
├── demo_attack.py # Backdoor attack scripts
├── demo_detection.py # Detection procedure
├── demo_unlearning.py # Unlearning procedure
└── README.md # Project documentation