
كاشف وقت الاختبار خالٍ من التدريب ومستقل عن المحفزات لمحولات الرؤية (Vision Transformers) ذات الأبواب الخلفية، يحدد العينات المسمومة باستخدام اتساق الانتباه بين الرؤوس وتباين الإنتروبيا.
Siquan Huang1، Yijiang Li2، Xingfu Yan3,*، Ningzhi Gao1، Leyu Shi1، Ying Gao1,*
1جامعة جنوب الصين للتكنولوجيا 2جامعة كاليفورنيا، سان دييغو 3جامعة جنوب الصين العادية
*المؤلفون المراسلون
محوّلات الرؤية (ViTs) هي المشفّر البصري لمعظم النماذج متعددة الوسائط، ويعتمد الممارسون عادةً على نقاط تفتيش مدربة مسبقًا من طرف ثالث قد تحمل بابًا خلفيًا. DetectViT هو كاشف لعينات الأبواب الخلفية في وقت الاختبار لمحوّلات الرؤية، يقرأ رؤوس الانتباه بدلًا من مخرجات النموذج أو تمثيلاته التضمينية.
على الصور النظيفة، تنتبه رؤوس الانتباه إلى مناطق مختلفة بدرجة تركيز متقاربة. وتُخلّ محفّزات الأبواب الخلفية بهذا التوازن بطريقتين:
يستخرج DetectViT توزيع الانتباه من CLS إلى الرقع لكل رأس ويحسب إشارتين متكاملتين:
تُقدَّر العتبات بقاعدة الثلاثة سيغما، $\tau = \mu + 3\sigma$، من 64 إلى 128 صورة نظيفة خارج التوزيع من أي مصدر فقط. وتُوسم عينة الاختبار بأنها مصابة بباب خلفي إذا كان $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ أو $\mathcal{S}{\text{var}} > \tau{\text{var}}$.
أداء الكشف على أربع هجمات أبواب خلفية على محوّلات الرؤية. معدل الإيجابيات الحقيقية (TPR) ومعدل الإيجابيات الكاذبة (FPR) بالنسبة المئوية (٪)، وAUC على مقياس [0، 1]. تعني "–" أن الطريقة غير قابلة للتطبيق (لا تستطيع الطرق القائمة على التسميات التعامل مع التعليقات النصية الحرة) أو أنها لا تُنتج درجة متصلة.
| الدفاع | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
هجمات إضافية. على خمس هجمات أخرى تشمل المشفّرات ذاتية الإشراف (BadEncoder، DRUPE)، والتسميم بالتسميات النظيفة (Label-Consistent)، والمحفّزات في نطاق التردد (Low-Frequency)، والمحفّزات العالمية المُحسَّنة (Blended-Optimized)، تُعدّ DetectViT الطريقة الوحيدة التي تحافظ على AUC لا يقل عن 0.97 في جميعها. النتائج الكاملة موجودة في ملحق الورقة البحثية.
زمن التشغيل. متوسط زمن الكشف لكل عيّنة (بالثواني):
| الدفاع | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
انقر على الصورة لفتح ملف PDF بالدقة الكاملة.
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
نزِّل نقاط فحص النموذج المُخترَق (backdoored) المُدرَّبة مسبقًا والمحفزات المُحسَّنة من Google Drive:
طريقة الكشف مُنفَّذة في detectvit.py. شغِّل main.py لتقييم DetectViT مقابل كل هجوم.
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0
python3 -u main.py \
--defense DetectViT \
--attack_type badclip \
--gpu 0 \
--eval_data_type ImageNet1K \
--eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
--add_backdoor \
--asr \
--label banana \
--patch_type ours_tnature \
--patch_location middle \
--patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
--patch_size 32
python3 -u main.py \
--defense DetectViT \
--attack_type badvision \
--gpu 0
| الوسيطة | الوصف | الافتراضي |
|---|---|---|
--defense | طريقة الكشف (DetectViT، DeDe، BackdoorIDS، ...) | DetectViT |
--attack_type | الهجوم المراد تقييمه (badvit، trojvit، badclip، badvision) | — |
--gpu | معرّف جهاز GPU | 0 |
إذا وجدت هذا العمل مفيدًا، فيُرجى التفكير في الاستشهاد بورقتنا البحثية.