
Defensa de purificación en la etapa de entrada de caja negra que neutraliza ataques de puerta trasera en detectores de objetos mediante corrupción, reconstrucción por difusión y votación por consenso DBSCAN.
La primera defensa de purificación de caja negra en la etapa de entrada diseñada específicamente para detectores de objetos contra ataques de puerta trasera.
ODPure es el primer marco de purificación de caja negra en la etapa de entrada diseñado específicamente para defender detectores de objetos contra ataques de puerta trasera. Operacionaliza un novedoso paradigma de Corrupción-Reconstrucción-Selección (CRS) que:
ODPure neutraliza eficazmente diversos ataques de puerta trasera (reduciendo la Tasa de Éxito del Ataque hasta un 0.0%) mientras preserva la utilidad de detección limpia, logrando relaciones de compromiso defensa-utilidad superiores a las defensas existentes.
# Core dependencies
torch>=1.13.0
torchvision>=0.14.0
numpy>=1.21.0
Pillow>=9.0.0
opencv-python>=4.5.0
# Diffusion models
diffusers>=0.14.0
transformers>=4.25.0
accelerate>=0.20.0
# Evaluation
scikit-learn>=1.2.0 # For DBSCAN clustering
scipy>=1.9.0
# Data processing
pyyaml>=6.0
tqdm>=4.64.0
# Create conda environment
conda create -n odpure python=3.9 -y
conda activate odpure
# Install PyTorch with CUDA
conda install pytorch torchvision pytorch-cuda=11.7 -c pytorch -c nvidia
# Install other dependencies
pip install -r requirements.txt
Antes de ejecutar el módulo de Reconstrucción, debe descargar los pesos del modelo preentrenado:
| Modelo | Descripción | Descarga |
|---|---|---|
| DiffBIR v2.1 | Modelo de restauración principal | HuggingFace |
| Stable Diffusion | Priors de difusión latente | HuggingFace |
| LLaVA | Generador de descripciones visión-lenguaje | HuggingFace |
| RAM | Modelo de Reconocimiento Consciente | GitHub Release |
mkdir -p Method/Reconstruction/weights
Descargue y coloque los pesos siguiendo las instrucciones en los repositorios de los modelos respectivos.
Actualice los archivos de configuración en Method/Reconstruction/configs/ para que apunten a los pesos descargados.
ODPure/
├── attack_script/ # Backdoor attack implementations
│ ├── COCO_chessboard_29x29_OMA.py # Object Misclassification (Chessboard)
│ ├── COCO_chessboard_29x29_ODA.py # Object Disappearance Attack (Chessboard)
│ ├── COCO_chessboard_9x9_OGA.py # Object Generation Attack (Chessboard)
│ ├── COCO_poke_15x15_OMA.py # OMA (Poké Ball)
│ ├── COCO_poke_15x15_ODA.py # ODA (Poké Ball)
│ ├── COCO_poke_15x15_OGA.py # OGA (Poké Ball)
│ ├── COCO_white_15x15_OMA.py # OMA (Solid White)
│ ├── COCO_white_15x15_ODA.py # ODA (Solid White)
│ └── COCO_white_15x15_OGA.py # OGA (Solid White)
│
├── Method/ # Core defense methodology
│ ├── corruptions/ # Image corruption module
│ │ ├── imagecorruption.py # Corruption functions
│ │ └── multiprocess_imagecorruption.py # Parallel processing
│ │
│ ├── Reconstruction/ # Diffusion-based restoration
│ │ ├── inference.py # Main inference script
│ │ ├── diffbir/ # DiffBIR model implementation
│ │ ├── llava/ # LLaVA captioner
│ │ ├── ram/ # Recognition-Aware Model
│ │ ├── configs/ # Model configurations
│ │ └── weights/ # Model weights (download separately)
│ │
│ └── dbscan_vote_new.py # DBSCAN clustering & voting
│
├── evaluation/ # Evaluation metrics
│ ├── OMA_ASR_new.py # OMA Attack Success Rate
│ ├── OMA_mAP.py # OMA Mean Average Precision
│ ├── ODA_ASR_new.py # ODA Attack Success Rate
│ ├── ODA_mAP.py # ODA Mean Average Precision
│ ├── OGA_ASR_new.py # OGA Attack Success Rate
│ ├── OGA_mAP.py # OGA Mean Average Precision
│ ├── val_OMA.py # YOLO validation for OMA
│ ├── val_ODA.py # YOLO validation for ODA
│ └── val_OGA.py # YOLO validation for OGA
│
├── data_format_conversion/ # Data format utilities
│ ├── voc2yolo.py # VOC to YOLO format conversion
│ ├── cocotoyolo.py # COCO to YOLO format conversion
│ └── select_coco_val_attack_information.py
│
├── ablation_study/ # Ablation experiments
│ ├── multiprocess_imagecorruption.py
│ ├── random_select_corruption.py
│ └── select_specific_corruption.py
│
├── run_pipeline.sh # One-shot CRS pipeline runner
└── README.md # This file
El punto de entrada recomendado es run_pipeline.sh, que encadena las tres etapas de CRS:
# Defaults: GPU=0, INPUT=inputs/demo/bid, OUTPUT=results/v2.1_demo_bid, ATTACK=ODA
bash run_pipeline.sh
# Custom arguments: GPU_ID INPUT_DIR OUTPUT_DIR ATTACK
bash run_pipeline.sh 0 inputs/coco_oda results/oda ODA
bash run_pipeline.sh 1 inputs/coco_oma results/oma OMA
bash run_pipeline.sh 2 inputs/coco_oga results/oga OGA
El script realiza:
Las detecciones purificadas finales se escriben en <OUTPUT_DIR>/final/.
Use esto si desea inspeccionar / reemplazar pasos intermedios.
python Method/corruptions/multiprocess_imagecorruption.py \
--input_dir /path/to/input/images \
--output_dir /path/to/corrupted/images \
--num_corruptions 45 \
--num_workers 8
python Method/Reconstruction/inference.py \
--task denoise \
--upscale 2 \
--version v2.1 \
--captioner llava \
--cfg_scale 6 \
--noise_aug 1 \
--input /path/to/corrupted/images \
--output /path/to/restored/images \
--batch_size 32 \
--device cuda
python Method/dbscan_vote_new.py \
--folder_purs /path/to/restored/detections \
--temp /path/to/temp \
--output_path /path/to/final/detections \
--eps 0.5 \
--min_samples 10
conda activate odpure
# Run on poisoned inputs (before defense)
python evaluation/val_ODA.py \
--weights runs/train/exp/weights/last.pt \
--data data/ODA_poison.yaml \
--img 640 --iou-thres 0.65 --conf-thres 0.5 \
--save-txt --save-conf \
--project results/poisoned_val_txt
# Run on clean inputs
python evaluation/val_ODA.py \
--weights runs/train/exp/weights/last.pt \
--data data/ODA_clean.yaml \
--img 640 --iou-thres 0.65 --conf-thres 0.5 \
--save-txt --save-conf \
--project results/clean_val_txt
# Run on purified inputs (after defense via ODPure)
python evaluation/val_ODA.py \
--weights runs/train/exp/weights/last.pt \
--data data/ODA_purified.yaml \
--img 640 --iou-thres 0.65 --conf-thres 0.5 \
--save-txt --save-conf \
--project results/pur_val_txt
python evaluation/OMA_ASR_new.py
Configure las rutas dentro del script:
gt_folder = "/path/to/ground_truth"
benign_folder = "/path/to/clean_val_txt"
attack_folder = "/path/to/pur_val_txt"
target_class = "0" # person class
python evaluation/ODA_ASR_new.py
python evaluation/OGA_ASR_new.py
python evaluation/ODA_mAP.py
python evaluation/OGA_mAP.py
python evaluation/OMA_mAP.py
| Parámetro | Valor | Descripción |
|---|---|---|
num_corruptions | 15 tipos × 3 severidades = 45 variantes | Diversidad de corrupción |
corruption_severity | 1, 2, 3 | Niveles de intensidad de corrupción |
DBSCAN eps | 0.5 | Radio de agrupamiento |
DBSCAN min_samples | 10 | Umbral de consenso |
cfg_scale | 6.0 | Guía libre de clasificador |
noise_aug | 1 | Nivel de aumento de ruido |
ODPure utiliza 15 funciones de corrupción diversas en 4 categorías:
from Method.corruptions.imagecorruption import *
# Apply specific corruption
corrupted_img = gaussian_noise(image, severity=2)
corrupted_img = glass_blur(image, severity=1)
corrupted_img = jpeg_compression(image, severity=3)
# Process on specific GPU
CUDA_VISIBLE_DEVICES=0 python Method/Reconstruction/inference.py \
--task denoise --input inputs/demo --output results/demo
# Batch processing with multiple GPUs
CUDA_VISIBLE_DEVICES=0,1,2,3 python Method/Reconstruction/inference.py \
--task denoise --batch_size 64 --input inputs/batch --output results/batch
# Train backdoored model
CUDA_VISIBLE_DEVICES="0,1" python train.py \
--data data/custom.yaml \
--epochs 200 \
--weights checkpoints/yolov5s.pt \
--img 640 \
--batch-size 128
# Evaluate with defense
python evaluation/val_ODA.py \
--weights runs/train/exp/weights/last.pt \
--data data/val.yaml \
--img 640 \
--iou-thres 0.65 \
--conf-thres 0.5 \
--save-txt --save-conf
| Ataque | Conjunto de datos (Modelo) | mAP Limpio | Antes de la Defensa (mAP/ASR) | Después de la Defensa (mAP/ASR) |
|---|---|---|---|---|
| OMA | VOC (YOLO) | 76.4% | 8.2% / 87.7% | 80.5% / 2.0% |
| OMA | VOC (F-RCNN) | 79.3% | 44.9% / 94.6% | 78.1% / 17.4% |
| OMA | COCO (YOLO) | 52.8% | 0.4% / 94.6% | 52.0% / 1.5% |
| OMA | COCO (F-RCNN) | 49.7% | 6.3% / 91.9% | 47.0% / 16.3% |
| ODA | VOC (YOLO) | 72.0% | 71.6% / 96.5% | 76.7% / 20.8% |
| ODA | VOC (F-RCNN) | 77.6% | 76.4% / 69.3% | 75.4% / 18.9% |
| ODA | COCO (YOLO) | 54.0% | 52.4% / 99.9% | 54.1% / 25.4% |
| ODA | COCO (F-RCNN) | 50.9% | 50.3% / 81.7% | 51.4% / 28.0% |
| OGA | VOC (YOLO) | 80.4% | 78.0% / 65.1% | 82.2% / 0.0% |
| OGA | VOC (F-RCNN) | 83.2% | 81.2% / 98.4% | 80.9% / 0.0% |
| OGA | COCO (YOLO) | 53.0% | 52.8% / 99.8% | 54.4% / 0.0% |
| OGA | COCO (F-RCNN) | 48.9% | 49.1% / 95.4% | 49.5% / 0.0% |
| Activador | Ataque | mAP Limpio | ASR Antes | ASR Después |
|---|---|---|---|---|
| Poké Ball | OMA | 77.3% | 95.5% | 19.8% |
| Poké Ball | ODA | 75.3% | 98.5% | 35.1% |
| Poké Ball | OGA | 79.8% | 96.8% | 15.4% |
| Blanco Sólido | OMA | 75.5% | 82.0% | 52.9% |
| Blanco Sólido | ODA | 71.8% | 71.1% | 44.0% |
| Blanco Sólido | OGA | 80.2% | 73.7% | 37.0% |
| Tipo de ataque | Descripción | Comportamiento |
|---|---|---|
| OMA | Ataque de Clasificación Errónea de Objetos | Fuerza a que los objetos objetivo sean clasificados erróneamente |
| ODA | Ataque de Desaparición de Objetos | Provoca que los objetos objetivo desaparezcan de la detección |
| OGA | Ataque de Generación de Objetos | Induce objetos fantasma alucinados |
Si encuentra este trabajo útil en su investigación, por favor cite:
@article{odpure2026,
title={ODPure: Backdoor Purification for Object Detection via Ensemble Corruption Consensus},
author={},
journal={},
year={2026}
}
Este proyecto está licenciado bajo la Licencia MIT - consulte el archivo LICENSE para más detalles.
Para preguntas o colaboraciones, por favor abra un issue en GitHub.
ODPure - Protegiendo los sistemas de detección de objetos contra ataques de puerta trasera mientras se mantiene una percepción continua.