ODPure: تنقية الباب الخلفي للكشف عن الأجسام عبر توافق الإفساد الجماعي

أول دفاع تنقية من نوع الصندوق الأسود في مرحلة الإدخال، مصمم خصيصًا لكواشف الأجسام ضد هجمات الباب الخلفي.

📖 نظرة عامة

ODPure هو أول إطار عمل لتنقية من نوع الصندوق الأسود في مرحلة الإدخال، مصمم خصيصًا للدفاع عن كواشف الأجسام ضد هجمات الباب الخلفي. وهو يفعّل نموذجًا جديدًا للإفساد-إعادة البناء-الاختيار (CRS) يقوم بما يلي:

1. إفساد صور الإدخال باضطرابات متنوعة لتعطيل أنماط المحفزات
2. إعادة بناء الميزات الهيكلية الدقيقة باستخدام مسبقات الانتشار التوليدية
3. اختيار الكشوفات عالية الثقة عبر التصويت المكاني بالتوافق

يقوم ODPure بتحييد هجمات الباب الخلفي المتنوعة بفعالية (خفض معدل نجاح الهجوم إلى أدنى مستوى يصل إلى 0.0%) مع الحفاظ على فائدة الكشف النظيف، محققًا مقايضات دفاع-فائدة متفوقة على الدفاعات الحالية.

🔑 الميزات الرئيسية

• دفاع الصندوق الأسود: لا حاجة للوصول إلى البنية الداخلية للنموذج أو التدرجات أو المعماريات
• مستقل عن النموذج: يعمل مع أي كاشف أجسام (YOLO، Faster R-CNN، إلخ)
• دفاع متعدد الهجمات: يتعامل مع أنواع الهجمات OMA وODA وOGA
• بدون تدريب مسبق: لا حاجة لمعرفة مسبقة بأنماط المحفزات
• إدراك مستمر: يحافظ على استمرارية التدفق التشغيلي دون التخلص من البيانات

📋 المتطلبات

متطلبات النظام

• Python 3.8+
• CUDA 11.7+ (لتسريع GPU)
• يُوصى بذاكرة GPU بسعة 16GB+

تبعيات Python

# Core dependencies
torch>=1.13.0
torchvision>=0.14.0
numpy>=1.21.0
Pillow>=9.0.0
opencv-python>=4.5.0

# Diffusion models
diffusers>=0.14.0
transformers>=4.25.0
accelerate>=0.20.0

# Evaluation
scikit-learn>=1.2.0  # For DBSCAN clustering
scipy>=1.9.0

# Data processing
pyyaml>=6.0
tqdm>=4.64.0

إعداد بيئة Conda (موصى به)

# Create conda environment
conda create -n odpure python=3.9 -y
conda activate odpure

# Install PyTorch with CUDA
conda install pytorch torchvision pytorch-cuda=11.7 -c pytorch -c nvidia

# Install other dependencies
pip install -r requirements.txt

📦 تنزيل الأوزان المدربة مسبقًا

قبل تشغيل وحدة إعادة البناء، تحتاج إلى تنزيل أوزان النموذج المدربة مسبقًا:

الأوزان المطلوبة

Model	Description	Download
DiffBIR v2.1	Main restoration model	HuggingFace
Stable Diffusion	Latent diffusion priors	HuggingFace
LLaVA	Vision-language captioner	HuggingFace
RAM	Recognition-Aware Model	GitHub Release

خطوات التثبيت

1. أنشئ دليل الأوزان:

mkdir -p Method/Reconstruction/weights

2. نزّل الأوزان وضعها وفقًا للتعليمات الموجودة في مستودعات النماذج المعنية.

3. حدّث ملفات الإعداد في Method/Reconstruction/configs/ لتشير إلى الأوزان التي نزّلتها.

🏗️ هيكل المشروع

ODPure/
├── attack_script/              # Backdoor attack implementations
│   ├── COCO_chessboard_29x29_OMA.py     # Object Misclassification (Chessboard)
│   ├── COCO_chessboard_29x29_ODA.py     # Object Disappearance Attack (Chessboard)
│   ├── COCO_chessboard_9x9_OGA.py      # Object Generation Attack (Chessboard)
│   ├── COCO_poke_15x15_OMA.py          # OMA (Poké Ball)
│   ├── COCO_poke_15x15_ODA.py          # ODA (Poké Ball)
│   ├── COCO_poke_15x15_OGA.py          # OGA (Poké Ball)
│   ├── COCO_white_15x15_OMA.py         # OMA (Solid White)
│   ├── COCO_white_15x15_ODA.py         # ODA (Solid White)
│   └── COCO_white_15x15_OGA.py         # OGA (Solid White)
│
├── Method/                     # Core defense methodology
│   ├── corruptions/           # Image corruption module
│   │   ├── imagecorruption.py # Corruption functions
│   │   └── multiprocess_imagecorruption.py  # Parallel processing
│   │
│   ├── Reconstruction/         # Diffusion-based restoration
│   │   ├── inference.py       # Main inference script
│   │   ├── diffbir/           # DiffBIR model implementation
│   │   ├── llava/             # LLaVA captioner
│   │   ├── ram/               # Recognition-Aware Model
│   │   ├── configs/           # Model configurations
│   │   └── weights/           # Model weights (download separately)
│   │
│   └── dbscan_vote_new.py     # DBSCAN clustering & voting
│
├── evaluation/                 # Evaluation metrics
│   ├── OMA_ASR_new.py         # OMA Attack Success Rate
│   ├── OMA_mAP.py             # OMA Mean Average Precision
│   ├── ODA_ASR_new.py         # ODA Attack Success Rate
│   ├── ODA_mAP.py             # ODA Mean Average Precision
│   ├── OGA_ASR_new.py         # OGA Attack Success Rate
│   ├── OGA_mAP.py             # OGA Mean Average Precision
│   ├── val_OMA.py             # YOLO validation for OMA
│   ├── val_ODA.py             # YOLO validation for ODA
│   └── val_OGA.py             # YOLO validation for OGA
│
├── data_format_conversion/    # Data format utilities
│   ├── voc2yolo.py            # VOC to YOLO format conversion
│   ├── cocotoyolo.py          # COCO to YOLO format conversion
│   └── select_coco_val_attack_information.py
│
├── ablation_study/            # Ablation experiments
│   ├── multiprocess_imagecorruption.py
│   ├── random_select_corruption.py
│   └── select_specific_corruption.py
│
├── run_pipeline.sh            # One-shot CRS pipeline runner
└── README.md                 # This file

🚀 البدء السريع

الخيار أ: خط أنابيب شامل من البداية إلى النهاية (موصى به)

نقطة الدخول الموصى بها هي run_pipeline.sh، الذي يربط مراحل CRS الثلاث بشكل متتالٍ:

# Defaults: GPU=0, INPUT=inputs/demo/bid, OUTPUT=results/v2.1_demo_bid, ATTACK=ODA
bash run_pipeline.sh

# Custom arguments: GPU_ID INPUT_DIR OUTPUT_DIR ATTACK
bash run_pipeline.sh 0 inputs/coco_oda results/oda ODA
bash run_pipeline.sh 1 inputs/coco_oma results/oma OMA
bash run_pipeline.sh 2 inputs/coco_oga results/oga OGA

يقوم السكربت بما يلي:

1. المرحلة 1 (الإفساد) – يولّد 45 نسخة مفسدة
2. المرحلة 2 (إعادة البناء) – DiffBIR v2.1 مع LLaVA captioner
3. المرحلة 3 (الاختيار) – التصويت المكاني بالتوافق DBSCAN

تُكتب الكشوفات النهائية المنقّاة إلى <OUTPUT_DIR>/final/.

الخيار ب: تشغيل كل مرحلة يدويًا

استخدم هذا إذا كنت تريد فحص / استبدال الخطوات الوسيطة.

المرحلة 1: الإفساد

python Method/corruptions/multiprocess_imagecorruption.py \
    --input_dir /path/to/input/images \
    --output_dir /path/to/corrupted/images \
    --num_corruptions 45 \
    --num_workers 8

المرحلة 2: إعادة البناء

python Method/Reconstruction/inference.py \
    --task denoise \
    --upscale 2 \
    --version v2.1 \
    --captioner llava \
    --cfg_scale 6 \
    --noise_aug 1 \
    --input /path/to/corrupted/images \
    --output /path/to/restored/images \
    --batch_size 32 \
    --device cuda

المرحلة 3: الاختيار (تصويت DBSCAN)

python Method/dbscan_vote_new.py \
    --folder_purs /path/to/restored/detections \
    --temp /path/to/temp \
    --output_path /path/to/final/detections \
    --eps 0.5 \
    --min_samples 10

📊 التقييم

الخطوة 1: تفعيل البيئة

conda activate odpure

الخطوة 2: تشغيل الكاشف على ثلاثة تقسيمات

# Run on poisoned inputs (before defense)
python evaluation/val_ODA.py \
    --weights runs/train/exp/weights/last.pt \
    --data data/ODA_poison.yaml \
    --img 640 --iou-thres 0.65 --conf-thres 0.5 \
    --save-txt --save-conf \
    --project results/poisoned_val_txt

# Run on clean inputs
python evaluation/val_ODA.py \
    --weights runs/train/exp/weights/last.pt \
    --data data/ODA_clean.yaml \
    --img 640 --iou-thres 0.65 --conf-thres 0.5 \
    --save-txt --save-conf \
    --project results/clean_val_txt