manhu2025/dupभाषा मॉडलों में बैकडोर का पता लगाने और उन्हें हटाने के लिए अनुसंधान ढाँचा, जो BERT, BART, LLaMA और Qwen में विशेषता-आधारित विसंगति पहचान को LoRA-आधारित अनलर्निंग के साथ जोड़ता है।
यह पेपर के लिए आधिकारिक रिपॉज़िटरी है:
DUP: Detection-guided Unlearning for Backdoor Purification in Language Models
DUP एक एकीकृत फ्रेमवर्क प्रस्तुत करता है जो पूर्व-प्रशिक्षित भाषा मॉडलों से बैकडोर हटाने के लिए फ़ीचर-आधारित विसंगति पहचान को पैरामीटर-कुशल अनलर्निंग के साथ जोड़ता है। यह पारंपरिक PLM और आधुनिक LLM दोनों में प्रभावी है, जिनमें BERT, BART, LLaMA 3B और Qwen 3B शामिल हैं।
DUP फ्रेमवर्क को निम्नलिखित वातावरण में कार्यान्वित और परीक्षण किया गया है:
Python: 3.10
OS: Ubuntu 22.04
CUDA: 11.8
PyTorch: 2.1.2
Accelerate: 1.0.1
PEFT: 0.12.0
language-tool-python: 2.8.1
निम्नलिखित मॉडल डाउनलोड करें और उन्हें /victim_models निर्देशिका के अंतर्गत रखें:
bert-base-uncasedbart-baseLLaMA-3.2-3B-InstructQwen2.5-3Bविषाक्त डेटासेट पहले से तैयार हैं और /poison_data में स्थित हैं
बैकडोर आक्रमण शुरू करने के लिए:
python demo_attack.py
समर्थित आक्रमण:
यह मॉड्यूल अनुकूली लेयर चयन के साथ Mahalanobis Distance और Spectral Signature स्कोर का उपयोग करके विषाक्त इनपुट की पहचान करता है।
python demo_detection.py
यह मॉड्यूल डिटेक्शन-निर्देशित LoRA-आधारित डिस्टिलेशन का उपयोग करके बैकडोर हटाता है:
python demo_unlearning.py
.
├── victim_models/ # Pretrained model weights
├── poison_data/ # poisoned datasets
├── openbackdoor/ # Core implementation of backdoor attacks and defenses
├── demo_attack.py # Backdoor attack scripts
├── demo_detection.py # Detection procedure
├── demo_unlearning.py # Unlearning procedure
└── README.md # Project documentation