
Trainingsfreier, trigger-agnostischer Testzeit-Detektor für mit Backdoors versehene Vision Transformers, der vergiftete Proben anhand der Konsistenz der Aufmerksamkeit zwischen den Köpfen und der Entropievarianz kennzeichnet.
Siquan Huang1, Yijiang Li2, Xingfu Yan3,*, Ningzhi Gao1, Leyu Shi1, Ying Gao1,*
1South China University of Technology 2University of California, San Diego 3South China Normal University
*Korrespondierende Autoren
Vision Transformers (ViTs) sind der visuelle Encoder der meisten multimodalen Modelle, und Praktiker bauen routinemäßig auf vortrainierten Checkpoints von Drittanbietern auf, die eine Backdoor enthalten können. DetectViT ist ein Detektor für Backdoor-Samples zur Testzeit für ViTs, der die Attention-Heads ausliest, anstatt die Ausgaben oder Embeddings des Modells zu verwenden.
Bei sauberen Bildern richten Attention-Heads ihre Aufmerksamkeit auf unterschiedliche Regionen mit vergleichbarer Konzentration. Backdoor-Trigger stören dieses Gleichgewicht auf zwei Arten:
DetectViT extrahiert die CLS-zu-Patch-Attention-Verteilung jedes Heads und berechnet zwei komplementäre Signale:
Die Schwellenwerte werden mit der Drei-Sigma-Regel, $\tau = \mu + 3\sigma$, ausschließlich aus 64 bis 128 sauberen Out-of-Distribution-Bildern beliebiger Quelle geschätzt. Ein Test-Sample wird als mit einer Backdoor versehen markiert, wenn $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ oder $\mathcal{S}{\text{var}} > \tau{\text{var}}$.
Erkennungsleistung bei vier ViT-Backdoor-Angriffen. TPR und FPR sind in %, AUC liegt auf einer Skala von [0, 1]. „–“ bedeutet, dass die Methode nicht anwendbar ist (labelbasierte Methoden können keine Freitext-Bildbeschreibungen verarbeiten) oder keinen kontinuierlichen Score liefert.
| Verteidigung | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
Weitere Angriffe. Bei fünf weiteren Angriffen, die selbstüberwachte Encoder (BadEncoder, DRUPE), Clean-Label-Poisoning (Label-Consistent), Frequenzbereich-Trigger (Low-Frequency) und optimierte globale Trigger (Blended-Optimized) abdecken, ist DetectViT die einzige Methode, die bei allen eine AUC von mindestens 0.97 beibehält. Die vollständigen Ergebnisse finden sich im Anhang des Papers.
Laufzeit. Durchschnittliche Erkennungszeit pro Sample (s):
| Verteidigung | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
Klicken Sie auf das Bild, um das PDF in voller Auflösung zu öffnen.
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
Laden Sie die vorab trainierten Checkpoints der Backdoor-Modelle und die optimierten Trigger von Google Drive herunter:
Die Erkennungsmethode ist in detectvit.py implementiert. Führen Sie main.py aus, um DetectViT gegen jeden Angriff zu evaluieren.
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0
python3 -u main.py \
--defense DetectViT \
--attack_type badclip \
--gpu 0 \
--eval_data_type ImageNet1K \
--eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
--add_backdoor \
--asr \
--label banana \
--patch_type ours_tnature \
--patch_location middle \
--patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
--patch_size 32