
Détecteur au moment du test, sans entraînement et indépendant du déclencheur, pour les Vision Transformers portant une porte dérobée, qui signale les échantillons empoisonnés en s'appuyant sur la cohérence d'attention entre têtes et la variance de l'entropie.
Siquan Huang1, Yijiang Li2, Xingfu Yan3,*, Ningzhi Gao1, Leyu Shi1, Ying Gao1,*
1Université de Technologie de Chine du Sud 2Université de Californie, San Diego 3Université Normale de Chine du Sud
*Auteurs correspondants
Les Transformateurs de Vision (ViT) constituent l'encodeur visuel de la plupart des modèles multimodaux, et les praticiens s'appuient couramment sur des points de contrôle pré-entraînés tiers qui peuvent contenir une porte dérobée. DetectViT est un détecteur d'échantillons porteurs de portes dérobées à l'inférence pour les ViT, qui analyse les têtes d'attention plutôt que les sorties ou les plongements du modèle.
Sur des images propres, les têtes d'attention se concentrent sur des régions différentes avec une concentration comparable. Les déclencheurs de portes dérobées rompent cet équilibre de deux manières :
DetectViT extrait la distribution d'attention CLS-vers-patchs de chaque tête et calcule deux signaux complémentaires :
Les seuils sont estimés par la règle des trois sigmas, $\tau = \mu + 3\sigma$, à partir de seulement 64 à 128 images propres hors distribution de n'importe quelle source. Un échantillon de test est signalé comme porteur d'une porte dérobée si $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ ou $\mathcal{S}{\text{var}} > \tau{\text{var}}$.
Performances de détection sur quatre attaques par porte dérobée visant les ViT. Le TPR et le FPR sont exprimés en %, l'AUC est sur une échelle [0, 1]. « – » signifie que la méthode n'est pas applicable (les méthodes fondées sur les étiquettes ne peuvent pas traiter des légendes en texte libre) ou ne produit pas de score continu.
| Défense | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
Attaques supplémentaires. Sur cinq autres attaques couvrant les encodeurs auto-supervisés (BadEncoder, DRUPE), l'empoisonnement à étiquettes propres (Label-Consistent), les déclencheurs dans le domaine fréquentiel (Low-Frequency) et les déclencheurs globaux optimisés (Blended-Optimized), DetectViT est la seule méthode qui maintient une AUC d'au moins 0,97 sur toutes. Les résultats complets figurent en annexe de l'article.
Temps d'exécution. Temps moyen de détection par échantillon (s) :
| Défense | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
Cliquez sur l'image pour ouvrir le PDF en pleine résolution.
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
Téléchargez les points de contrôle du modèle porté (backdoor) pré-entraîné et les déclencheurs optimisés depuis Google Drive :
La méthode de détection est implémentée dans detectvit.py. Exécutez main.py pour évaluer DetectViT face à chaque attaque.
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0