
Rilevatore test-time per Vision Transformer con backdoor, senza addestramento e indipendente dal trigger, che segnala i campioni avvelenati sfruttando la coerenza dell'attenzione tra le teste e la varianza dell'entropia.
Siquan Huang1, Yijiang Li2, Xingfu Yan3,*, Ningzhi Gao1, Leyu Shi1, Ying Gao1,*
1South China University of Technology 2University of California, San Diego 3South China Normal University
*Autori corrispondenti
I Vision Transformer (ViT) sono l'encoder visivo della maggior parte dei modelli multimodali, e i professionisti costruiscono abitualmente su checkpoint preaddestrati di terze parti che potrebbero contenere una backdoor. DetectViT è un rilevatore di campioni con backdoor in fase di test per i ViT che analizza le teste di attenzione anziché gli output o gli embedding del modello.
Sulle immagini pulite, le teste di attenzione si concentrano su regioni diverse con concentrazione comparabile. I trigger backdoor rompono questo equilibrio in due modi:
DetectViT estrae la distribuzione dell'attenzione CLS-to-patch di ogni testa e calcola due segnali complementari:
Le soglie sono stimate con la regola dei tre sigma, $\tau = \mu + 3\sigma$, a partire da soli da 64 a 128 immagini pulite fuori distribuzione di qualsiasi origine. Un campione di test viene segnalato come backdoorato se $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ oppure $\mathcal{S}{\text{var}} > \tau{\text{var}}$.
Prestazioni di rilevamento su quattro attacchi backdoor ai ViT. TPR e FPR sono in %, l'AUC è su una scala [0, 1]. "–" indica che il metodo non è applicabile (i metodi basati sulle etichette non possono gestire didascalie in forma libera) o non produce un punteggio continuo.
| Difesa | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
Attacchi aggiuntivi. Su altri cinque attacchi che coprono encoder auto-supervisionati (BadEncoder, DRUPE), avvelenamento clean-label (Label-Consistent), trigger nel dominio della frequenza (Low-Frequency) e trigger globali ottimizzati (Blended-Optimized), DetectViT è l'unico metodo che mantiene un AUC di almeno 0.97 su tutti. I risultati completi sono nell'appendice del paper.
Tempo di esecuzione. Tempo medio di rilevamento per campione (s):
| Difesa | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
Clicca sull'immagine per aprire il PDF a piena risoluzione.
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
Scarica da Google Drive i checkpoint dei modelli backdoor pre-addestrati e i trigger ottimizzati:
Il metodo di rilevamento è implementato in detectvit.py. Esegui main.py per valutare DetectViT rispetto a ciascun attacco.
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0
python3 -u main.py \
--defense DetectViT \
--attack_type badclip \
--gpu 0 \
--eval_data_type ImageNet1K \
--eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
--add_backdoor \
--asr \
--label banana \
--patch_type ours_tnature \
--patch_location middle \
--patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
--patch_size 32