
Детектор для тестирования без обучения, не зависящий от триггера, для Vision Transformers с бэкдором, который выявляет отравленные образцы с помощью согласованности внимания между головами и дисперсии энтропии.
Сикуань Хуан1, Ицзян Ли2, Синфу Янь3,*, Нинчжи Гао1, Лэйюй Ши1, Ин Гао1,*
1Южно-Китайский технологический университет 2Калифорнийский университет в Сан-Диего 3Южно-Китайский педагогический университет
*Авторы, ответственные за переписку
Vision Transformers (ViT) служат визуальным энкодером большинства мультимодальных моделей, и практики регулярно используют сторонние предобученные контрольные точки, которые могут содержать бэкдор. DetectViT — это детектор бэкдор-образцов для ViT, работающий во время тестирования, который анализирует головы внимания, а не выходы или эмбеддинги модели.
На чистых изображениях головы внимания фокусируются на разных областях с сопоставимой концентрацией. Бэкдор-триггеры нарушают этот баланс двумя способами:
DetectViT извлекает распределение внимания CLS-к-патчам каждой головы и вычисляет два взаимодополняющих сигнала:
Пороги оцениваются по правилу трёх сигм, $\tau = \mu + 3\sigma$, всего по 64–128 чистым изображениям из распределения, отличного от обучающего, из любого источника. Тестовый образец помечается как содержащий бэкдор, если $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ или $\mathcal{S}{\text{var}} > \tau{\text{var}}$.
Эффективность обнаружения для четырёх бэкдор-атак на ViT. TPR и FPR указаны в %, AUC — в шкале [0, 1]. «–» означает, что метод неприменим (методы на основе меток не справляются со свободными подписями) или не выдаёт непрерывную оценку.
| Защита | BadViT TPR↑ / FPR↓ / AUC↑ | TrojViT TPR↑ / FPR↓ / AUC↑ | BadCLIP TPR↑ / FPR↓ / AUC↑ | BadVision TPR↑ / FPR↓ / AUC↑ |
|---|---|---|---|---|
| TeCo | 77.95 / 61.86 / 0.63 | 55.00 / 51.76 / 0.51 | 99.20 / 39.52 / 0.89 | – |
| Scale-Up | 88.65 / 30.66 / 0.81 | 85.00 / 41.98 / 0.74 | 91.84 / 65.03 / 0.66 | – |
| PatchProc | 90.61 / 18.42 / 0.89 | 87.60 / 21.44 / 0.85 | 86.97 / 26.78 / 0.82 | – |
| DeDe | 63.97 / 23.29 / 0.78 | 50.20 / 25.80 / 0.72 | 55.12 / 27.97 / 0.69 | 7.00 / 29.68 / 0.50 |
| BackdoorIDS | 80.79 / 9.73 / – | 5.00 / 10.84 / – | 93.24 / 16.88 / – | 96.00 / 15.96 / – |
| DetectViT | 100.00 / 1.58 / 1.00 | 90.80 / 5.94 / 0.95 | 100.00 / 0.17 / 1.00 | 96.00 / 3.00 / 0.99 |
Дополнительные атаки. На пяти дополнительных атаках, охватывающих самоконтролируемые энкодеры (BadEncoder, DRUPE), отравление с чистыми метками (Label-Consistent), триггеры в частотной области (Low-Frequency) и оптимизированные глобальные триггеры (Blended-Optimized), DetectViT — единственный метод, который сохраняет AUC не ниже 0.97 на всех из них. Полные результаты приведены в приложении к статье.
Время выполнения. Среднее время обнаружения на один образец (с):
| Защита | BadViT | TrojViT | BadCLIP | BadVision |
|---|---|---|---|---|
| TeCo | 2.5094 | 4.2920 | 1.8448 | – |
| Scale-Up | 0.0246 | 0.0261 | 0.0696 | – |
| PatchProc | 0.6686 | 0.6926 | 0.8257 | – |
| DeDe | 0.0206 | 0.0279 | 0.1034 | 0.6060 |
| BackdoorIDS | 0.1734 | 0.1982 | 0.2560 | 3.3458 |
| DetectViT | 0.0124 | 0.0134 | 0.0163 | 0.0226 |
Нажмите на изображение, чтобы открыть PDF в полном разрешении.
git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT
Скачайте предобученные контрольные точки бэкдор-моделей и оптимизированные триггеры с Google Drive:
Метод обнаружения реализован в detectvit.py. Запустите main.py, чтобы оценить DetectViT для каждой атаки.
python3 main.py \
--defense DetectViT \
--attack_type badvit \
--trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
--trojvit_network DeiT-T \
--trojvit_num_classes 102 \
--trojvit_data_dir ./data
python3 main.py \
--defense DetectViT \
--attack_type trojvit \
--trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
--trojvit_data_dir ./data/tiny-imagenet-200 \
--trojvit_network DeiT-S \
--gpu 0
python3 -u main.py \
--defense DetectViT \
--attack_type badclip \
--gpu 0 \
--eval_data_type ImageNet1K \
--eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
--add_backdoor \
--asr \
--label banana \
--patch_type ours_tnature \
--patch_location middle \
--patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
--patch_size 32
python3 -u main.py \
--defense DetectViT \
--attack_type badvision \
--gpu 0