Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
DetectViT — 面向后门视觉 Transformer 的免训练、触发器无关的测试时检测器,通过头间注意力一致性和熵方差来标记中毒样本。 | Kitploit
工具/GitHubGitHub/siquanhuang/detectvit
防御工具机器学习论文与研究AI 安全异常检测
GitHubsiquanhuang/detectvit

DetectViT

面向后门视觉 Transformer 的免训练、触发器无关的测试时检测器,通过头间注意力一致性和熵方差来标记中毒样本。

查看仓库
192天前尚未审核
分享

DetectViT:通过头间注意力差异实现视觉Transformer的测试时后门检测

Siquan Huang1、Yijiang Li2、Xingfu Yan3,*、Ningzhi Gao1、Leyu Shi1、Ying Gao1,*

1华南理工大学   2加利福尼亚大学圣地亚哥分校   3华南师范大学

*通讯作者

NeurIPS 2026 论文 海报 许可证


概述

视觉Transformer(ViT)是大多数多模态模型的视觉编码器,而从业者通常会基于可能携带后门的第三方预训练检查点进行构建。DetectViT 是一种面向ViT的测试时后门样本检测器,它读取注意力头,而不是模型的输出或嵌入。

  • 无需训练。 无需访问训练数据,也无需训练辅助模型。
  • 无需输出。 适用于分类和开放式生成(例如使用LLaVA进行图像描述生成)。
  • 与触发器无关。 无需事先了解触发器类型。
  • 轻量级。 每个测试样本仅需一次前向传播;检测复用推理过程中已计算出的注意力权重。

关键观察

在干净图像上,注意力头关注不同区域,且集中程度相当。后门触发器以两种方式打破这种平衡:

  • 完全注意力劫持。 一个可见的、局部化的触发器将所有注意力头拉到同一区域,产生异常高的头间空间重叠。
  • 部分注意力劫持。 一个隐蔽的、全局的触发器不均衡地捕获注意力头,导致各注意力头之间的注意力集中程度出现异常大的方差。

干净图像、带有可见块状触发器(完全劫持)的图像以及带有隐蔽混合触发器(部分劫持)的图像中六个注意力头的CLS到图像块注意力

方法

DetectViT流程

DetectViT提取每个注意力头的CLS到图像块注意力分布,并计算两个互补信号:

  • 头间一致性分数 $\mathcal{S}_{\text{cons}}$:某一层各注意力头之间的平均成对余弦相似度(在层上取最大值)。它捕获完全劫持。
  • 头间熵方差分数 $\mathcal{S}_{\text{var}}$:某一层内各注意力头注意力熵的方差(在层上取最大值)。它捕获部分劫持。

阈值通过三西格玛规则 $\tau = \mu + 3\sigma$ 估计,仅需64到128张来自任意来源的干净分布外图像。若 $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ 或 $\mathcal{S}{\text{var}} > \tau{\text{var}}$,则测试样本被标记为后门样本。


主要结果

在四种ViT后门攻击上的检测性能。TPR和FPR以%为单位,AUC在[0, 1]范围内。"–"表示该方法不适用(基于标签的方法无法处理自由形式的描述文本)或不产生连续分数。

防御方法BadViT
TPR↑ / FPR↓ / AUC↑
TrojViT
TPR↑ / FPR↓ / AUC↑
BadCLIP
TPR↑ / FPR↓ / AUC↑
BadVision
TPR↑ / FPR↓ / AUC↑
TeCo77.95 / 61.86 / 0.6355.00 / 51.76 / 0.5199.20 / 39.52 / 0.89–
Scale-Up88.65 / 30.66 / 0.8185.00 / 41.98 / 0.7491.84 / 65.03 / 0.66–
PatchProc90.61 / 18.42 / 0.8987.60 / 21.44 / 0.8586.97 / 26.78 / 0.82–
DeDe63.97 / 23.29 / 0.7850.20 / 25.80 / 0.7255.12 / 27.97 / 0.697.00 / 29.68 / 0.50
BackdoorIDS80.79 / 9.73 / –5.00 / 10.84 / –93.24 / 16.88 / –96.00 / 15.96 / –
DetectViT100.00 / 1.58 / 1.0090.80 / 5.94 / 0.95100.00 / 0.17 / 1.0096.00 / 3.00 / 0.99

更多攻击。 在另外五种攻击上——涵盖自监督编码器(BadEncoder、DRUPE)、干净标签投毒(Label-Consistent)、频域触发器(Low-Frequency)以及优化的全局触发器(Blended-Optimized)——DetectViT 是唯一在所有攻击上均保持 AUC 至少为 0.97 的方法。完整结果见论文附录。

运行时间。 平均每样本检测时间(秒):

防御方法BadViTTrojViTBadCLIPBadVision
TeCo2.50944.29201.8448–
Scale-Up0.02460.02610.0696–
PatchProc0.66860.69260.8257–
DeDe0.02060.02790.10340.6060
BackdoorIDS0.17340.19820.25603.3458
DetectViT0.01240.01340.01630.0226

海报

DetectViT NeurIPS 2026 poster

点击图片打开全分辨率 PDF。


安装

git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT

前置条件

  • Python 3.10.5
  • PyTorch 2.1.2
  • CUDA 11.8

预训练攻击模型与触发器

从 Google Drive 下载预训练的后门模型检查点和优化后的触发器:

[Google Drive 链接]


使用方法

检测方法实现在 detectvit.py 中。运行 main.py 以针对每种攻击评估 DetectViT。

BadViT

python3 main.py \
  --defense DetectViT \
  --attack_type badvit \
  --trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
  --trojvit_network DeiT-T \
  --trojvit_num_classes 102 \
  --trojvit_data_dir ./data

TrojViT

python3 main.py \
  --defense DetectViT \
  --attack_type trojvit \
  --trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
  --trojvit_data_dir ./data/tiny-imagenet-200 \
  --trojvit_network DeiT-S \
  --gpu 0

BadCLIP

python3 -u main.py \
  --defense DetectViT \
  --attack_type badclip \
  --gpu 0 \
  --eval_data_type ImageNet1K \
  --eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
  --add_backdoor \
  --asr \
  --label banana \
  --patch_type ours_tnature \
  --patch_location middle \
  --patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
  --patch_size 32

BadVision

python3 -u main.py \
  --defense DetectViT \
  --attack_type badvision \
  --gpu 0

关键参数

参数描述默认值
--defense检测方法(DetectViT、DeDe、BackdoorIDS、...)DetectViT
--attack_type待评估的攻击(badvit、trojvit、badclip、badvision)—
--gpuGPU 设备 ID0

引用

如果您认为本工作对您有所帮助,请考虑引用我们的论文。

@misc{huang2026detectvittesttimebackdoordetection,
      title={DetectViT: Test-time Backdoor Detection for Vision Transformers via Inter-Head Attention Discrepancy}, 
      author={Siquan Huang and Yijiang Li and Xingfu Yan and Ningzhi Gao and Leyu Shi and Ying Gao},
      year={2026},
      eprint={2611.23770},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2611.23770}, 
}

致谢

本项目基于以下开源工作构建。我们衷心感谢作者发布其代码:

  • TrojViT — https://github.com/mxzheng/TrojViT
  • BadCLIP — https://github.com/LiangSiyuan21/BadCLIP
  • BadVision — https://github.com/6zHAOyi/BadVision
  • DeDe — https://github.com/tardisblue9/DeDe
  • BackdoorIDS — https://github.com/siquanhuang/BackdoorIDS
下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    1.1k
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    618
  • 3

    looking-glass

    anonghosty/looking-glass

    CSIRT 平台,可将 Shadowserver 报告导入 MongoDB,并将其重放为交互式地图、分析、发现、公告和高管仪表板。

    407
  • 4

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    324
  • 5

    jumpserver

    jumpserver/jumpserver

    JumpServer是一个开源的特权访问管理(PAM)平台,为DevOps和IT团队提供通过Web浏览器按需安全访问SSH、RDP、Kubernetes、数据库和RemoteApp端点的能力。

    279
  • 6

    Aliens_eye

    arxhr007/aliens_eye

    由 AI 驱动的 OSINT 引擎,可在网络上发现并映射 7,700+ 个社交媒体身份

    270

探索所有工具

浏览我们的工具集合

查看所有工具 →