ODPure：通过集成损坏共识实现目标检测的后门净化

首个针对目标检测器的输入阶段黑盒净化防御，用于抵御后门攻击。

📖 概述

ODPure 是首个专为目标检测器抵御后门攻击而设计的输入阶段、黑盒净化框架。它实现了一种新颖的 损坏-重建-选择（Corruption-Reconstruction-Selection, CRS） 范式，该范式：

1. 损坏 输入图像，使用多样化的扰动来破坏触发器模式
2. 重建 细粒度结构特征，使用生成式扩散先验
3. 选择 高置信度检测结果，通过空间共识投票

ODPure 有效中和了多种后门攻击（将攻击成功率降至低至 0.0%），同时保持干净的检测效用，相比现有防御方法实现了更优的防御-效用权衡。

🔑 核心特性

• 黑盒防御：无需模型内部结构、梯度或架构
• 模型无关：适用于任何目标检测器（YOLO、Faster R-CNN 等）
• 多攻击防御：处理 OMA、ODA 和 OGA 攻击类型
• 零样本：无需触发器模式的先验知识
• 连续感知：保持操作流连续性，不丢弃数据

📋 环境要求

系统要求

• Python 3.8+
• CUDA 11.7+（用于 GPU 加速）
• 建议 16GB+ GPU 显存

Python 依赖

# Core dependencies
torch>=1.13.0
torchvision>=0.14.0
numpy>=1.21.0
Pillow>=9.0.0
opencv-python>=4.5.0

# Diffusion models
diffusers>=0.14.0
transformers>=4.25.0
accelerate>=0.20.0

# Evaluation
scikit-learn>=1.2.0  # For DBSCAN clustering
scipy>=1.9.0

# Data processing
pyyaml>=6.0
tqdm>=4.64.0

Conda 环境设置（推荐）

# Create conda environment
conda create -n odpure python=3.9 -y
conda activate odpure

# Install PyTorch with CUDA
conda install pytorch torchvision pytorch-cuda=11.7 -c pytorch -c nvidia

# Install other dependencies
pip install -r requirements.txt

📦 下载预训练权重

在运行重建模块之前，您需要下载预训练模型权重：

所需权重

模型	描述	下载
DiffBIR v2.1	主恢复模型	HuggingFace
Stable Diffusion	潜在扩散先验	HuggingFace
LLaVA	视觉-语言描述器	HuggingFace
RAM	识别感知模型	GitHub Release

安装步骤

1. 创建权重目录：

mkdir -p Method/Reconstruction/weights

2. 按照各自模型仓库中的说明下载并放置权重。

3. 更新 Method/Reconstruction/configs/ 中的配置文件，使其指向您下载的权重。

🏗️ 项目结构

ODPure/
├── attack_script/              # Backdoor attack implementations
│   ├── COCO_chessboard_29x29_OMA.py     # Object Misclassification (Chessboard)
│   ├── COCO_chessboard_29x29_ODA.py     # Object Disappearance Attack (Chessboard)
│   ├── COCO_chessboard_9x9_OGA.py      # Object Generation Attack (Chessboard)
│   ├── COCO_poke_15x15_OMA.py          # OMA (Poké Ball)
│   ├── COCO_poke_15x15_ODA.py          # ODA (Poké Ball)
│   ├── COCO_poke_15x15_OGA.py          # OGA (Poké Ball)
│   ├── COCO_white_15x15_OMA.py         # OMA (Solid White)
│   ├── COCO_white_15x15_ODA.py         # ODA (Solid White)
│   └── COCO_white_15x15_OGA.py         # OGA (Solid White)
│
├── Method/                     # Core defense methodology
│   ├── corruptions/           # Image corruption module
│   │   ├── imagecorruption.py # Corruption functions
│   │   └── multiprocess_imagecorruption.py  # Parallel processing
│   │
│   ├── Reconstruction/         # Diffusion-based restoration
│   │   ├── inference.py       # Main inference script
│   │   ├── diffbir/           # DiffBIR model implementation
│   │   ├── llava/             # LLaVA captioner
│   │   ├── ram/               # Recognition-Aware Model
│   │   ├── configs/           # Model configurations
│   │   └── weights/           # Model weights (download separately)
│   │
│   └── dbscan_vote_new.py     # DBSCAN clustering & voting
│
├── evaluation/                 # Evaluation metrics
│   ├── OMA_ASR_new.py         # OMA Attack Success Rate
│   ├── OMA_mAP.py             # OMA Mean Average Precision
│   ├── ODA_ASR_new.py         # ODA Attack Success Rate
│   ├── ODA_mAP.py             # ODA Mean Average Precision
│   ├── OGA_ASR_new.py         # OGA Attack Success Rate
│   ├── OGA_mAP.py             # OGA Mean Average Precision
│   ├── val_OMA.py             # YOLO validation for OMA
│   ├── val_ODA.py             # YOLO validation for ODA
│   └── val_OGA.py             # YOLO validation for OGA
│
├── data_format_conversion/    # Data format utilities
│   ├── voc2yolo.py            # VOC to YOLO format conversion
│   ├── cocotoyolo.py          # COCO to YOLO format conversion
│   └── select_coco_val_attack_information.py
│
├── ablation_study/            # Ablation experiments
│   ├── multiprocess_imagecorruption.py
│   ├── random_select_corruption.py
│   └── select_specific_corruption.py
│
├── run_pipeline.sh            # One-shot CRS pipeline runner
└── README.md                 # This file

🚀 快速开始

选项 A：一键端到端流水线（推荐）

推荐的入口点是 run_pipeline.sh，它级联执行 CRS 的三个阶段：

# Defaults: GPU=0, INPUT=inputs/demo/bid, OUTPUT=results/v2.1_demo_bid, ATTACK=ODA
bash run_pipeline.sh

# Custom arguments: GPU_ID INPUT_DIR OUTPUT_DIR ATTACK
bash run_pipeline.sh 0 inputs/coco_oda results/oda ODA
bash run_pipeline.sh 1 inputs/coco_oma results/oma OMA
bash run_pipeline.sh 2 inputs/coco_oga results/oga OGA

该脚本执行：

1. 阶段 1（损坏） – 生成 45 个损坏变体
2. 阶段 2（重建） – 使用 LLaVA 描述器的 DiffBIR v2.1
3. 阶段 3（选择） – DBSCAN 空间共识投票

最终净化后的检测结果写入 <OUTPUT_DIR>/final/。

选项 B：手动运行每个阶段

如果您想检查/替换中间步骤，请使用此选项。

阶段 1：损坏

python Method/corruptions/multiprocess_imagecorruption.py \
    --input_dir /path/to/input/images \
    --output_dir /path/to/corrupted/images \
    --num_corruptions 45 \
    --num_workers 8

阶段 2：重建

python Method/Reconstruction/inference.py \
    --task denoise \
    --upscale 2 \
    --version v2.1 \
    --captioner llava \
    --cfg_scale 6 \
    --noise_aug 1 \
    --input /path/to/corrupted/images \
    --output /path/to/restored/images \
    --batch_size 32 \
    --device cuda

阶段 3：选择（DBSCAN 投票）

python Method/dbscan_vote_new.py \
    --folder_purs /path/to/restored/detections \
    --temp /path/to/temp \
    --output_path /path/to/final/detections \
    --eps 0.5 \
    --min_samples 10

📊 评估

步骤 1：激活环境

conda activate odpure

步骤 2：在三个数据划分上运行检测器

# Run on poisoned inputs (before defense)
python evaluation/val_ODA.py \
    --weights runs/train/exp/weights/last.pt \
    --data data/ODA_poison.yaml \
    --img 640 --iou-thres 0.65 --conf-thres 0.5 \
    --save-txt --save-conf \
    --project results/poisoned_val_txt

# Run on clean inputs
python evaluation/val_ODA.py \
    --weights runs/train/exp/weights/last.pt \
    --data data/ODA_clean.yaml \
    --img 640 --iou-thres 0.65 --conf-thres 0.5 \
    --save-txt --save-conf \
    --project results/clean_val_txt

# Run on purified inputs (after defense via ODPure)
python evaluation/val_ODA.py \
    --weights runs/train/exp/weights/last.pt \
    --data data/ODA_purified.yaml \
    --img 640 --iou-thres 0.65 --conf-thres 0.5 \
    --save-txt --save-conf \
    --project results/pur_val_txt

步骤 3：计算 ASR / mAP

OMA（目标误分类攻击）

python evaluation/OMA_ASR_new.py

在脚本内配置路径：

gt_folder      = "/path/to/ground_truth"
benign_folder  = "/path/to/clean_val_txt"
attack_folder  = "/path/to/pur_val_txt"
target_class   = "0"      # person class

ODA（目标消失攻击）

python evaluation/ODA_ASR_new.py

OGA（目标生成攻击）

python evaluation/OGA_ASR_new.py

计算 mAP

python evaluation/ODA_mAP.py
python evaluation/OGA_mAP.py
python evaluation/OMA_mAP.py

🛡️ 防御配置

默认 ODPure 设置

参数	值	描述
num_corruptions	15 种类型 × 3 个严重程度 = 45 个变体	损坏多样性
corruption_severity	1, 2, 3	损坏强度级别
DBSCAN eps	0.5	聚类半径
DBSCAN min_samples	10	共识阈值
cfg_scale	6.0	无分类器引导
noise_aug	1	噪声增强级别

损坏类型

ODPure 使用 4 个类别下的 15 种多样化损坏函数：

• 噪声：高斯噪声、散粒噪声、脉冲噪声
• 模糊：高斯模糊、玻璃模糊、运动模糊、缩放模糊、散焦模糊
• 天气：雪、霜、雾、亮度
• 数字：JPEG 压缩、像素化、弹性变换

🔧 高级用法

自定义损坏

from Method.corruptions.imagecorruption import *

# Apply specific corruption
corrupted_img = gaussian_noise(image, severity=2)
corrupted_img = glass_blur(image, severity=1)
corrupted_img = jpeg_compression(image, severity=3)

多 GPU 处理