binzhwang/tnc-defenseكود بحثي للكشف عن البوابات الخلفية في نماذج الانتشار من النص إلى الصورة وإزالة سميتها، مع خطوط أنابيب لـ Stable Diffusion v1.4 و v1.5 و XL و 3 Medium.
يوفر TNC-Defense كودًا بحثيًا لكشف وتطهير البوابات الخلفية في نماذج الانتشار من النص إلى الصورة. يتضمن المستودع حاليًا خطوط أنابيب كشف لنماذج Stable Diffusion v1.4 وStable Diffusion v1.5 وStable Diffusion XL وStable Diffusion 3 Medium، بالإضافة إلى خطوط أنابيب تطهير لنماذج Stable Diffusion v1.4 وStable Diffusion XL.
للاستخدام البحثي فقط. صُمم هذا الكود لدراسة متانة وأمان نماذج الانتشار من النص إلى الصورة. يتحمل المستخدمون مسؤولية الامتثال لتراخيص وسياسات الاستخدام لجميع النماذج ومجموعات البيانات والتنفيذات الأولية.
TNC-Defense/
├── TNC-Detect/
│ ├── detect_sd14.py # Detection on Stable Diffusion v1.4
│ ├── detect_sd15.py # Detection on Stable Diffusion v1.5
│ ├── detect_sdxl.py # Detection on Stable Diffusion XL
│ ├── detect_sd3.py # Detection on Stable Diffusion 3 Medium
│ ├── ana.py # Detection metrics and visualization
│ ├── run_detect_sd14.sh # Multi-GPU SD1.4 detection
│ └── ana.sh # Analysis entry point
└── TNC-Detox/
├── data/ # Paired clean/backdoored training data
├── common.py # Shared data and reproducibility utilities
├── detox_sd14.py # Detoxification for SD1.4
├── detox_sdxl.py # Detoxification for SDXL
├── evaluate_sd14.py # SD1.4 generation-based evaluation
├── compute_fid.py # FID evaluation
├── run_detox_sd14.sh # Multi-GPU SD1.4 detoxification
└── run_detox_sdxl.sh # SDXL detoxification
خضع الكود لاختبار دخان (smoke test) في بيئة Conda باسم TCN مع:
تتطلب أدوات التحليل والتقييم أيضًا حزمًا تشمل NumPy وpandas وSciPy وscikit-learn وMatplotlib وPillow وtqdm.
قم بتفعيل البيئة قبل تشغيل أي تجربة:
cd TNC-Defense
conda create -n TCN python=3.10 -y
conda activate TCN
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
تستخدم نقاط الدخول Bash أمر python الخاص بالبيئة النشطة. يمكن توفير مُفسِّر مختلف عبر متغير البيئة PYTHON:
PYTHON=python bash TNC-Detect/run_detect_sd14.sh
تُحل جميع مسارات المستودع نسبةً إلى موقع كل سكربت، لذلك لا تعتمد الأوامر على دليل العمل الحالي. تتبع مسارات النماذج الافتراضية تخطيط المشروع المحلي المستخدم في التجارب. إذا كانت النماذج مخزنة في مكان آخر، فقم بتجاوز وسائط سطر الأوامر المقابلة مثل --base-model-path أو --backdoor-model-path أو --base-model أو --tox-path.
تأتي مجموعات بيانات التطهير ضمن:
TNC-Detox/data/
├── sd14/
│ ├── pixel/
│ ├── pixel_mul_tokens/
│ ├── eviledit/
│ ├── personal_bkd/
│ └── villain_mul/
└── sdxl/
├── pixel/
└── pixel_mul_tokens/
تحتوي كل مجموعة بيانات على clean/ وpoison/ وmetadata.json.
يقوم المشغّل الافتراضي بتقييم جميع طرق البوابة الخلفية المُعدّة لـ SD1.4. وهو يوزّع الطرق على معرّفات GPU المعرّفة في run_detect_sd14.sh ويشغّلها بالتوازي.
cd TNC-Defense/TNC-Detect
bash run_detect_sd14.sh
لتشغيل طريقة واحدة مباشرة:
python detect_sd14.py \
--backdoor-method pixel \
--device cuda:0 \
--seed 0 \
--num-inference-steps 50
يمكن فحص الوسائط المتاحة لكل عائلة نماذج باستخدام:
python detect_sd14.py --help
python detect_sd15.py --help
python detect_sdxl.py --help
python detect_sd3.py --help
بعد إنشاء ملفات MSE CSV، قم بتكوين ملفات الإدخال في ana.sh ثم شغّل:
bash ana.sh
يدعم المكتشف قاعدتي القرار naive وdynamic-k. تُنتَج المقاييس والرسوم البيانية بواسطة ana.py.
يُشغّل مشغّل SD1.4 الافتراضي الطرق الخمس المُعدّة على معرّفات GPU الخمسة المحددة في السكربت:
cd TNC-Defense/TNC-Detox
bash run_detox_sd14.sh
لتشغيل طريقة واحدة:
python detox_sd14.py \
--method pixel \
--device cuda:0 \
--seed 42
قم بتكوين METHOD وGPU_ID في run_detox_sdxl.sh، ثم شغّل:
bash run_detox_sdxl.sh
يتم تعريف الإعدادات الافتراضية الخاصة بكل طريقة، بما في ذلك خطوات التدريب، ونِسب أخذ العينات عبر الخطوات الزمنية، وأوزان الخسارة، وأحجام الدفعات، وفواصل حفظ نقاط التفتيش، في قسم METHOD_PROFILES من كل سكربت تدريب. يمكن لوسائط سطر الأوامر تجاوز هذه الإعدادات الافتراضية.
أنشئ صورًا من واحدة أو أكثر من شبكات UNet المطهّرة الخاصة بـ SD1.4:
python evaluate_sd14.py \
--detox-model checkpoints/sd14/<checkpoint> \
--prompt-file <prompt-file>
احسب FID بين دليل الصور المرجعية ودليل الصور بعد التطهير:
python compute_fid.py \
--reference-dir <reference-images> \
--candidate-dir <detoxified-images>
42 افتراضيًا ويفعّل السلوك الحتمي لـ cuDNN.تنشأ النماذج ذات البوابة الخلفية وتكوينات الهجوم المستخدمة في هذا المشروع من الموارد العامة التالية:
يرجى الاستشهاد بالأوراق الأصلية المقابلة عند استخدام هذه الهجمات أو نقاط التفتيش: BadT2I (badt2izhai2023)، EvilEdit (evileditwang2024)، VillanDiffusion (villandiffusionchou2023)، وPersonalBKD (personalizationhuang2024).
إذا وجدت هذا المشروع مفيدًا في بحثك، يرجى الاستشهاد بما يلي:
@article{wang2026backdoor,
title={Backdoor sentinel: Detecting and detoxifying backdoors in diffusion models via temporal noise consistency},
author={Wang, Bingzheng and Gu, Xiaoyan and Xu, Hongbo and Li, Hongcheng and Yu, Zimo and Zhou, Jiang and Wang, Weiping},
journal={arXiv preprint arXiv:2602.01765},
year={2026}
}
بُني هذا المشروع بالاستناد بشكل كبير إلى قاعدة الكود الممتازة NaviT2I. نعرب عن خالص شكرنا لمؤلفي NaviT2I على إتاحة تنفيذهم ومواردهم الداعمة.
كما نشكر مؤلفي BadT2I وEvilEdit وVillanDiffusion وPersonalBKD وHugging Face Diffusers والنماذج المدربة مسبقًا المرتبطة بهم على إتاحة كودهم ونقاط تفتيشهم للعموم. تظل جميع مكونات الجهات الخارجية خاضعة لتراخيصها وشروط الاستخدام الخاصة بها.