
Detector em tempo de teste, sem treinamento e independente de gatilho, para Vision Transformers com backdoor, que sinaliza amostras envenenadas usando consistência de atenção entre cabeças e variância de entropia.
Siquan Huang1, Yijiang Li2, Xingfu Yan3,*, Ningzhi Gao1, Leyu Shi1, Ying Gao1,*
1Universidade de Tecnologia do Sul da China 2Universidade da Califórnia, San Diego 3Universidade Normal do Sul da China
*Autores correspondentes
Vision Transformers (ViTs) são o codificador visual da maioria dos modelos multimodais, e os profissionais rotineiramente constroem sobre checkpoints pré-treinados de terceiros que podem carregar um backdoor. DetectViT é um detector de amostras com backdoor em tempo de teste para ViTs que lê as cabeças de atenção em vez das saídas ou embeddings do modelo.
Em imagens limpas, as cabeças de atenção atendem a regiões diferentes com concentração comparável. Os gatilhos de backdoor quebram esse equilíbrio de duas maneiras:
O DetectViT extrai a distribuição de atenção CLS-para-patch de cada cabeça e calcula dois sinais complementares:
Os limiares são estimados com a regra dos três sigmas, $\tau = \mu + 3\sigma$, a partir de apenas 64 a 128 imagens limpas fora de distribuição de qualquer origem. Uma amostra de teste é sinalizada como tendo backdoor se $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ ou $\mathcal{S}{\text{var}} > \tau{\text{var}}$.
Desempenho de detecção em quatro ataques de backdoor em ViT. TPR e FPR estão em %, AUC está em uma escala [0, 1]. "–" significa que o método não é aplicável (métodos baseados em rótulos não conseguem lidar com legendas de forma livre) ou não produz uma pontuação contínua.
| Defesa | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
Ataques adicionais. Em cinco outros ataques que abrangem codificadores auto-supervisionados (BadEncoder, DRUPE), envenenamento com rótulos limpos (Label-Consistent), gatilhos no domínio da frequência (Low-Frequency) e gatilhos globais otimizados (Blended-Optimized), o DetectViT é o único método que mantém uma AUC de pelo menos 0,97 em todos eles. Os resultados completos estão no apêndice do artigo.
Tempo de execução. Tempo médio de detecção por amostra (s):
| Defesa | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
Clique na imagem para abrir o PDF em resolução total.
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
Baixe os checkpoints do modelo backdoored pré-treinado e os triggers otimizados do Google Drive:
O método de detecção está implementado em detectvit.py. Execute main.py para avaliar o DetectViT contra cada ataque.
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0
python3 -u main.py \
--defense DetectViT \
--attack_type badclip \
--gpu 0 \
--eval_data_type ImageNet1K \
--eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
--add_backdoor \
--asr \
--label banana \
--patch_type ours_tnature \
--patch_location middle \
--patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
--patch_size 32
python3 -u main.py \
--defense DetectViT \
--attack_type badvision \
--gpu 0