DUP: Desaprendizaje guiado por detección para la purificación de puertas traseras en modelos de lenguaje

Este es el repositorio oficial del artículo:

DUP: Detection-guided Unlearning for Backdoor Purification in Language Models

DUP presenta un marco unificado que combina la detección de anomalías basada en características con el desaprendizaje eficiente en parámetros para eliminar puertas traseras de modelos de lenguaje preentrenados. Es eficaz tanto en PLM tradicionales como en LLM modernos, incluidos BERT, BART, LLaMA 3B y Qwen 3B.

---

Dependencias

El marco DUP está implementado y probado en el siguiente entorno:

Python: 3.10  
OS: Ubuntu 22.04  
CUDA: 11.8  
PyTorch: 2.1.2  
Accelerate: 1.0.1  
PEFT: 0.12.0  
language-tool-python: 2.8.1  

---

Preparación

Modelos

Descargue los siguientes modelos y colóquelos en el directorio /victim_models:

• bert-base-uncased
• bart-base
• LLaMA-3.2-3B-Instruct
• Qwen2.5-3B

Datos envenenados

Los conjuntos de datos envenenados ya están preparados y se encuentran en /poison_data

---

Ataques

Para lanzar ataques de puerta trasera:

python demo_attack.py

Ataques compatibles:

• BadNets
• AddSent
• StyleBackdoor
• SynBackdoor
• ...

---

Defensa: Marco DUP

Módulo de detección

Este módulo identifica entradas envenenadas utilizando puntuaciones de Distancia de Mahalanobis y Firma Espectral con selección adaptativa de capas.

python demo_detection.py

Módulo de purificación

Este módulo elimina las puertas traseras mediante destilación basada en LoRA guiada por la detección:

python demo_unlearning.py

---

Estructura del repositorio

.
├── victim_models/               # Pretrained model weights
├── poison_data/                 # poisoned datasets
├── openbackdoor/                # Core implementation of backdoor attacks and defenses
├── demo_attack.py               # Backdoor attack scripts
├── demo_detection.py            # Detection procedure
├── demo_unlearning.py           # Unlearning procedure
└── README.md                    # Project documentation