Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
DetectViT — 백도어가 삽입된 Vision Transformer를 위한 학습 불필요, 트리거 비의존적 테스트 시점 탐지기로, 헤드 간 어텐션 일관성과 엔트로피 분산을 활용하여 오염된 샘플을 식별합니다. | Kitploit
도구/GitHubGitHub/siquanhuang/detectvit
Defensive ToolsMachine LearningPapers & ResearchAI SecurityAnomaly Detection
GitHubsiquanhuang/detectvit

DetectViT

백도어가 삽입된 Vision Transformer를 위한 학습 불필요, 트리거 비의존적 테스트 시점 탐지기로, 헤드 간 어텐션 일관성과 엔트로피 분산을 활용하여 오염된 샘플을 식별합니다.

저장소 보기
192일 전아직 검토되지 않음
공유

DetectViT: 헤드 간 어텐션 불일치를 통한 Vision Transformer의 테스트 시점 백도어 탐지

Siquan Huang1, Yijiang Li2, Xingfu Yan3,*, Ningzhi Gao1, Leyu Shi1, Ying Gao1,*

1사우스차이나 공과대학   2캘리포니아 대학교 샌디에이고   3사우스차이나 사범대학

*교신저자

NeurIPS 2026 논문 포스터 라이선스


개요

Vision Transformer(ViT)는 대부분의 멀티모달 모델의 시각 인코더이며, 실무자들은 백도어가 포함되어 있을 수 있는 제3자 사전 학습 체크포인트를 기반으로 일상적으로 시스템을 구축합니다. DetectViT는 모델의 출력이나 임베딩 대신 어텐션 헤드를 읽어들이는 ViT용 테스트 시점 백도어 샘플 탐지기입니다.

  • 학습 불필요. 학습 데이터에 접근할 필요가 없고, 학습할 보조 모델도 없습니다.
  • 출력 불필요. 분류와 개방형 생성(예: LLaVA를 이용한 이미지 캡셔닝) 모두에 작동합니다.
  • 트리거 무관. 트리거 유형에 대한 사전 지식이 필요하지 않습니다.
  • 경량. 테스트 샘플당 한 번의 순전파만 수행하며, 탐지는 추론 중에 이미 계산된 어텐션 가중치를 재사용합니다.

핵심 관찰

깨끗한 이미지에서 어텐션 헤드들은 서로 다른 영역에 비슷한 집중도로 주목합니다. 백도어 트리거는 두 가지 방식으로 이 균형을 깨뜨립니다:

  • 완전한 어텐션 탈취. 가시적이고 국소적인 트리거가 모든 헤드를 동일한 영역으로 끌어당겨, 헤드 간 공간적 중첩이 비정상적으로 높아집니다.
  • 부분적 어텐션 탈취. 은밀하고 전역적인 트리거가 헤드들을 불균등하게 사로잡아, 헤드 간 어텐션 집중도의 분산이 비정상적으로 커집니다.

깨끗한 이미지, 가시적 패치 트리거가 있는 이미지(완전한 탈취), 은밀한 블렌딩 트리거가 있는 이미지(부분적 탈취)에 대한 여섯 개 헤드의 CLS-대-패치 어텐션

방법

DetectViT 파이프라인

DetectViT는 모든 헤드의 CLS-대-패치 어텐션 분포를 추출하고 두 가지 상호 보완적인 신호를 계산합니다:

  • 헤드 간 일관성 점수 $\mathcal{S}_{\text{cons}}$: 한 레이어의 헤드들 사이 평균 쌍별 코사인 유사도(레이어에 대한 최댓값). 완전한 탈취를 포착합니다.
  • 헤드 간 엔트로피 분산 점수 $\mathcal{S}_{\text{var}}$: 한 레이어 내 헤드별 어텐션 엔트로피의 분산(레이어에 대한 최댓값). 부분적 탈취를 포착합니다.

임계값은 임의의 소스에서 얻은 단 64~128장의 깨끗한 분포 외 이미지로부터 3시그마 규칙 $\tau = \mu + 3\sigma$을 사용하여 추정됩니다. 테스트 샘플은 $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ 또는 $\mathcal{S}{\text{var}} > \tau{\text{var}}$인 경우 백도어로 표시됩니다.


주요 결과

네 가지 ViT 백도어 공격에 대한 탐지 성능. TPR과 FPR은 % 단위이며, AUC는 [0, 1] 척도입니다. "–"는 해당 방법이 적용 불가능하거나(레이블 기반 방법은 자유 형식 캡션을 처리할 수 없음) 연속적인 점수를 산출하지 못함을 의미합니다.

방어 기법BadViT
TPR↑ / FPR↓ / AUC↑
TrojViT
TPR↑ / FPR↓ / AUC↑
BadCLIP
TPR↑ / FPR↓ / AUC↑
BadVision
TPR↑ / FPR↓ / AUC↑
TeCo77.95 / 61.86 / 0.6355.00 / 51.76 / 0.5199.20 / 39.52 / 0.89–
Scale-Up88.65 / 30.66 / 0.8185.00 / 41.98 / 0.7491.84 / 65.03 / 0.66–
PatchProc90.61 / 18.42 / 0.8987.60 / 21.44 / 0.8586.97 / 26.78 / 0.82–
DeDe63.97 / 23.29 / 0.7850.20 / 25.80 / 0.7255.12 / 27.97 / 0.697.00 / 29.68 / 0.50
BackdoorIDS80.79 / 9.73 / –5.00 / 10.84 / –93.24 / 16.88 / –96.00 / 15.96 / –
DetectViT100.00 / 1.58 / 1.0090.80 / 5.94 / 0.95100.00 / 0.17 / 1.0096.00 / 3.00 / 0.99

추가 공격. 자기지도 인코더(BadEncoder, DRUPE), 클린 레이블 포이즈닝(Label-Consistent), 주파수 영역 트리거(Low-Frequency), 최적화된 전역 트리거(Blended-Optimized)를 아우르는 다섯 가지 추가 공격에서 DetectViT는 모든 공격에 대해 AUC 0.97 이상을 유지하는 유일한 방법입니다. 전체 결과는 논문 부록에 있습니다.

실행 시간. 샘플당 평균 탐지 시간(s):

방어 기법BadViTTrojViTBadCLIPBadVision
TeCo2.50944.29201.8448–
Scale-Up0.02460.02610.0696–
PatchProc0.66860.69260.8257–
DeDe0.02060.02790.10340.6060
BackdoorIDS0.17340.19820.25603.3458
DetectViT0.01240.01340.01630.0226

포스터

DetectViT NeurIPS 2026 poster

이미지를 클릭하면 전체 해상도 PDF가 열립니다.


설치

git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT

사전 요구 사항

  • Python 3.10.5
  • PyTorch 2.1.2
  • CUDA 11.8

사전 학습된 공격 모델 및 트리거

Google Drive에서 사전 학습된 백도어 모델 체크포인트와 최적화된 트리거를 다운로드하세요:

[Google Drive 링크]


사용법

탐지 방법은 detectvit.py에 구현되어 있습니다. 각 공격에 대해 DetectViT를 평가하려면 main.py를 실행하세요.

BadViT

python3 main.py \
  --defense DetectViT \
  --attack_type badvit \
  --trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
  --trojvit_network DeiT-T \
  --trojvit_num_classes 102 \
  --trojvit_data_dir ./data

TrojViT

python3 main.py \
  --defense DetectViT \
  --attack_type trojvit \
  --trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
  --trojvit_data_dir ./data/tiny-imagenet-200 \
  --trojvit_network DeiT-S \
  --gpu 0

BadCLIP

python3 -u main.py \
  --defense DetectViT \
  --attack_type badclip \
  --gpu 0 \
  --eval_data_type ImageNet1K \
  --eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
  --add_backdoor \
  --asr \
  --label banana \
  --patch_type ours_tnature \
  --patch_location middle \
  --patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
  --patch_size 32

BadVision

python3 -u main.py \
  --defense DetectViT \
  --attack_type badvision \
  --gpu 0

주요 인자

인자설명기본값
--defense탐지 방법 (DetectViT, DeDe, BackdoorIDS, ...)DetectViT
--attack_type평가할 공격 (badvit, trojvit, badclip, badvision)—
--gpuGPU 장치 ID0

인용

이 작업이 유용하다고 생각되시면, 저희 논문을 인용해 주시기 바랍니다.

@misc{huang2026detectvittesttimebackdoordetection,
      title={DetectViT: Test-time Backdoor Detection for Vision Transformers via Inter-Head Attention Discrepancy}, 
      author={Siquan Huang and Yijiang Li and Xingfu Yan and Ningzhi Gao and Leyu Shi and Ying Gao},
      year={2026},
      eprint={2611.23770},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2611.23770}, 
}

감사의 말

이 프로젝트는 다음 오픈소스 작업물을 기반으로 합니다. 코드를 공개해 주신 저자분들께 진심으로 감사드립니다:

  • TrojViT — https://github.com/mxzheng/TrojViT
  • BadCLIP — https://github.com/LiangSiyuan21/BadCLIP
  • BadVision — https://github.com/6zHAOyi/BadVision
  • DeDe — https://github.com/tardisblue9/DeDe
  • BackdoorIDS — https://github.com/siquanhuang/BackdoorIDS
도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    1.1k
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    618
  • 3

    looking-glass

    anonghosty/looking-glass

    Shadowserver 보고서를 MongoDB로 수집하고 이를 대화형 지도, 분석, 발견 사항, 권고 및 경영진 대시보드로 재생하는 CSIRT 플랫폼입니다.

    411
  • 4

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    328
  • 5

    jumpserver

    jumpserver/jumpserver

    JumpServer는 오픈소스 권한 접근 관리(PAM) 플랫폼으로, DevOps 및 IT 팀이 웹 브라우저를 통해 SSH, RDP, Kubernetes, 데이터베이스 및 RemoteApp 엔드포인트에 주문형 보안 액세스를 제공합니다.

    314
  • 6

    Aliens_eye

    arxhr007/aliens_eye

    웹 전반에서 7,700개 이상의 소셜 미디어 신원을 발견하고 매핑하는 AI 기반 OSINT 엔진

    275

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →