DUP: إزالة التعلّم الموجّه بالكشف لتنقية الأبواب الخلفية في نماذج اللغة

هذا هو المستودع الرسمي للورقة البحثية:

DUP: Detection-guided Unlearning for Backdoor Purification in Language Models

يقدّم DUP إطارًا موحّدًا يجمع بين الكشف عن الشذوذ القائم على السمات وإزالة التعلّم الموفّر للمعاملات لإزالة الأبواب الخلفية من نماذج اللغة المُدرَّبة مسبقًا. وهو فعّال عبر نماذج اللغة المُدرَّبة مسبقًا التقليدية ونماذج اللغة الكبيرة الحديثة على حدٍّ سواء، بما في ذلك BERT وBART وLLaMA 3B وQwen 3B.

---

المتطلبات

يُطبَّق إطار DUP ويُختبر في البيئة التالية:

Python: 3.10  
OS: Ubuntu 22.04  
CUDA: 11.8  
PyTorch: 2.1.2  
Accelerate: 1.0.1  
PEFT: 0.12.0  
language-tool-python: 2.8.1  

---

التحضير

النماذج

نزّل النماذج التالية وضعها تحت الدليل /victim_models:

• bert-base-uncased
• bart-base
• LLaMA-3.2-3B-Instruct
• Qwen2.5-3B

البيانات المسمومة

مجموعات البيانات المسمومة جاهزة بالفعل وتقع في /poison_data

---

الهجمات

لشنّ هجمات الأبواب الخلفية:

python demo_attack.py

الهجمات المدعومة:

• BadNets
• AddSent
• StyleBackdoor
• SynBackdoor
• ...

---

الدفاع: إطار DUP

وحدة الكشف

تحدّد هذه الوحدة المدخلات المسمومة باستخدام درجات مسافة Mahalanobis والبصمة الطيفية مع اختيار تكيّفي للطبقات.

python demo_detection.py

وحدة التنقية

تزيل هذه الوحدة الأبواب الخلفية باستخدام التقطير القائم على LoRA الموجّه بالكشف:

python demo_unlearning.py

---

بنية المستودع

.
├── victim_models/               # Pretrained model weights
├── poison_data/                 # poisoned datasets
├── openbackdoor/                # Core implementation of backdoor attacks and defenses
├── demo_attack.py               # Backdoor attack scripts
├── demo_detection.py            # Detection procedure
├── demo_unlearning.py           # Unlearning procedure
└── README.md                    # Project documentation