
बैकडोर वाले Vision Transformers के लिए ट्रेनिंग-मुक्त, ट्रिगर-अज्ञेय टेस्ट-टाइम डिटेक्टर जो इंटर-हेड अटेंशन कंसिस्टेंसी और एंट्रॉपी वेरिएंस का उपयोग करके ज़हरीले नमूनों को चिह्नित करता है।
सिकुआन हुआंग1, यीजियांग ली2, शिंगफू यान3,*, निंगझी गाओ1, लेयु शी1, यिंग गाओ1,*
1साउथ चाइना यूनिवर्सिटी ऑफ़ टेक्नोलॉजी 2यूनिवर्सिटी ऑफ़ कैलिफ़ोर्निया, सैन डिएगो 3साउथ चाइना नॉर्मल यूनिवर्सिटी
*संबंधित लेखक
विज़न ट्रांसफ़ॉर्मर (ViT) अधिकांश मल्टीमॉडल मॉडलों के विज़ुअल एनकोडर हैं, और व्यवसायी नियमित रूप से तृतीय-पक्ष पूर्व-प्रशिक्षित चेकपॉइंट्स पर निर्माण करते हैं जिनमें बैकडोर हो सकता है। DetectViT ViT के लिए एक परीक्षण-समय बैकडोर नमूना डिटेक्टर है जो मॉडल के आउटपुट या एम्बेडिंग के बजाय अटेंशन हेड्स को पढ़ता है।
स्वच्छ छवियों पर, अटेंशन हेड्स भिन्न क्षेत्रों पर तुलनीय संकेंद्रण के साथ ध्यान देते हैं। बैकडोर ट्रिगर इस संतुलन को दो तरीकों से तोड़ते हैं:
DetectViT प्रत्येक हेड का CLS-to-patch अटेंशन वितरण निकालता है और दो पूरक संकेतों की गणना करता है:
सीमाएँ तीन-सिग्मा नियम, $\tau = \mu + 3\sigma$, द्वारा केवल किसी भी स्रोत की 64 से 128 स्वच्छ आउट-ऑफ़-डिस्ट्रीब्यूशन छवियों से अनुमानित की जाती हैं। एक परीक्षण नमूना बैकडोरयुक्त के रूप में चिह्नित किया जाता है यदि $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ या $\mathcal{S}{\text{var}} > \tau{\text{var}}$।
चार ViT बैकडोर आक्रमणों पर डिटेक्शन प्रदर्शन। TPR और FPR % में हैं, AUC [0, 1] पैमाने पर है। "–" का अर्थ है कि विधि लागू नहीं है (लेबल-आधारित विधियाँ मुक्त-रूप कैप्शन संभाल नहीं सकतीं) या निरंतर स्कोर उत्पन्न नहीं करती।
| रक्षा | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
अतिरिक्त आक्रमण। स्व-पर्यवेक्षित एन्कोडर (BadEncoder, DRUPE), क्लीन-लेबल पॉइज़निंग (Label-Consistent), फ़्रीक्वेंसी-डोमेन ट्रिगर (Low-Frequency) और अनुकूलित ग्लोबल ट्रिगर (Blended-Optimized) को कवर करने वाले पाँच और आक्रमणों पर, DetectViT एकमात्र ऐसी विधि है जो इन सभी पर कम से कम 0.97 का AUC बनाए रखती है। पूर्ण परिणाम पेपर के परिशिष्ट में हैं।
रनटाइम। प्रति-नमूना औसत पहचान समय (s):
| रक्षा | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
पूर्ण-रिज़ॉल्यूशन PDF खोलने के लिए छवि पर क्लिक करें।
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
Google Drive से पूर्व-प्रशिक्षित बैकडोर किए गए मॉडल चेकपॉइंट और अनुकूलित ट्रिगर डाउनलोड करें:
पहचान विधि detectvit.py में लागू की गई है। प्रत्येक आक्रमण के विरुद्ध DetectViT का मूल्यांकन करने के लिए main.py चलाएँ।
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0
python3 -u main.py \
--defense DetectViT \
--attack_type badclip \
--gpu 0 \
--eval_data_type ImageNet1K \
--eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
--add_backdoor \
--asr \
--label banana \
--patch_type ours_tnature \
--patch_location middle \
--patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
--patch_size 32
python3 -u main.py \
--defense DetectViT \
--attack_type badvision \
--gpu 0
| आर्ग्युमेंट | विवरण | डिफ़ॉल्ट |
|---|---|---|
--defense | डिटेक्शन विधि (DetectViT, DeDe, BackdoorIDS, ...) | DetectViT |
--attack_type | मूल्यांकन हेतु आक्रमण (badvit, trojvit, badclip, badvision) | — |
--gpu | GPU डिवाइस ID | 0 |
यदि आपको यह कार्य उपयोगी लगे, तो कृपया हमारे पेपर को उद्धृत करने पर विचार करें।