Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
DetectViT — Trainingsfreier, trigger-agnostischer Testzeit-Detektor für mit Backdoors versehene Vision Transformers, der vergiftete Proben anhand der Konsistenz der Aufmerksamkeit zwischen den Köpfen und der Entropievarianz kennzeichnet. | Kitploit
Tools/GitHubGitHub/siquanhuang/detectvit
DefensivwerkzeugeMaschinelles LernenPapers & ForschungKI-SicherheitAnomalieerkennung
GitHubsiquanhuang/detectvit

DetectViT

Trainingsfreier, trigger-agnostischer Testzeit-Detektor für mit Backdoors versehene Vision Transformers, der vergiftete Proben anhand der Konsistenz der Aufmerksamkeit zwischen den Köpfen und der Entropievarianz kennzeichnet.

Repository anzeigen
19vor 2 TagenNoch nicht geprüft
Teilen

DetectViT: Backdoor-Erkennung zur Testzeit für Vision Transformers mittels Diskrepanz zwischen den Attention-Heads

Siquan Huang1, Yijiang Li2, Xingfu Yan3,*, Ningzhi Gao1, Leyu Shi1, Ying Gao1,*

1South China University of Technology   2University of California, San Diego   3South China Normal University

*Korrespondierende Autoren

NeurIPS 2026 Paper Poster License


Überblick

Vision Transformers (ViTs) sind der visuelle Encoder der meisten multimodalen Modelle, und Praktiker bauen routinemäßig auf vortrainierten Checkpoints von Drittanbietern auf, die eine Backdoor enthalten können. DetectViT ist ein Detektor für Backdoor-Samples zur Testzeit für ViTs, der die Attention-Heads ausliest, anstatt die Ausgaben oder Embeddings des Modells zu verwenden.

  • Trainingsfrei. Kein Zugriff auf Trainingsdaten und kein zusätzliches Modell, das trainiert werden muss.
  • Ausgabefrei. Funktioniert sowohl für Klassifikation als auch für offene Generierung (z. B. Bildbeschreibung mit LLaVA).
  • Trigger-agnostisch. Es ist kein Vorwissen über den Triggertyp erforderlich.
  • Leichtgewichtig. Ein Vorwärtsdurchlauf pro Test-Sample; die Erkennung nutzt die bereits während der Inferenz berechneten Attention-Gewichte wieder.

Zentrale Beobachtung

Bei sauberen Bildern richten Attention-Heads ihre Aufmerksamkeit auf unterschiedliche Regionen mit vergleichbarer Konzentration. Backdoor-Trigger stören dieses Gleichgewicht auf zwei Arten:

  • Vollständige Attention-Übernahme. Ein sichtbarer, lokalisierter Trigger zieht alle Heads auf dieselbe Region und erzeugt eine abnormal hohe räumliche Überlappung zwischen den Heads.
  • Partielle Attention-Übernahme. Ein stealthy, globaler Trigger erfasst die Heads ungleichmäßig und erzeugt eine abnormal große Varianz der Attention-Konzentration über die Heads hinweg.

CLS-zu-Patch-Attention von sechs Heads für ein sauberes Bild, ein Bild mit einem sichtbaren Patch-Trigger (vollständige Übernahme) und ein Bild mit einem stealthy Blended-Trigger (partielle Übernahme)

Methode

DetectViT-Pipeline

DetectViT extrahiert die CLS-zu-Patch-Attention-Verteilung jedes Heads und berechnet zwei komplementäre Signale:

  • Inter-Head-Konsistenz-Score $\mathcal{S}_{\text{cons}}$: die mittlere paarweise Kosinusähnlichkeit zwischen den Heads einer Schicht (Maximum über die Schichten). Er erfasst die vollständige Übernahme.
  • Inter-Head-Entropievarianz-Score $\mathcal{S}_{\text{var}}$: die Varianz der Attention-Entropie pro Head innerhalb einer Schicht (Maximum über die Schichten). Er erfasst die partielle Übernahme.

Die Schwellenwerte werden mit der Drei-Sigma-Regel, $\tau = \mu + 3\sigma$, ausschließlich aus 64 bis 128 sauberen Out-of-Distribution-Bildern beliebiger Quelle geschätzt. Ein Test-Sample wird als mit einer Backdoor versehen markiert, wenn $\mathcal{S}{\text{cons}} > \tau{\text{cons}}$ oder $\mathcal{S}{\text{var}} > \tau{\text{var}}$.


Hauptergebnisse

Erkennungsleistung bei vier ViT-Backdoor-Angriffen. TPR und FPR sind in %, AUC liegt auf einer Skala von [0, 1]. „–“ bedeutet, dass die Methode nicht anwendbar ist (labelbasierte Methoden können keine Freitext-Bildbeschreibungen verarbeiten) oder keinen kontinuierlichen Score liefert.

VerteidigungBadViT
TPR↑ / FPR↓ / AUC↑
TrojViT
TPR↑ / FPR↓ / AUC↑
BadCLIP
TPR↑ / FPR↓ / AUC↑
BadVision
TPR↑ / FPR↓ / AUC↑
TeCo77.95 / 61.86 / 0.6355.00 / 51.76 / 0.5199.20 / 39.52 / 0.89–
Scale-Up88.65 / 30.66 / 0.8185.00 / 41.98 / 0.7491.84 / 65.03 / 0.66–
PatchProc90.61 / 18.42 / 0.8987.60 / 21.44 / 0.8586.97 / 26.78 / 0.82–
DeDe63.97 / 23.29 / 0.7850.20 / 25.80 / 0.7255.12 / 27.97 / 0.697.00 / 29.68 / 0.50
BackdoorIDS80.79 / 9.73 / –5.00 / 10.84 / –93.24 / 16.88 / –96.00 / 15.96 / –
DetectViT100.00 / 1.58 / 1.0090.80 / 5.94 / 0.95100.00 / 0.17 / 1.0096.00 / 3.00 / 0.99

Weitere Angriffe. Bei fünf weiteren Angriffen, die selbstüberwachte Encoder (BadEncoder, DRUPE), Clean-Label-Poisoning (Label-Consistent), Frequenzbereich-Trigger (Low-Frequency) und optimierte globale Trigger (Blended-Optimized) abdecken, ist DetectViT die einzige Methode, die bei allen eine AUC von mindestens 0.97 beibehält. Die vollständigen Ergebnisse finden sich im Anhang des Papers.

Laufzeit. Durchschnittliche Erkennungszeit pro Sample (s):

VerteidigungBadViTTrojViTBadCLIPBadVision
TeCo2.50944.29201.8448–
Scale-Up0.02460.02610.0696–
PatchProc0.66860.69260.8257–
DeDe0.02060.02790.10340.6060
BackdoorIDS0.17340.19820.25603.3458
DetectViT0.01240.01340.01630.0226

Poster

DetectViT NeurIPS 2026 poster

Klicken Sie auf das Bild, um das PDF in voller Auflösung zu öffnen.


Installation

git clone https://github.com/siquanhuang/DetectViT.git
cd DetectViT

Voraussetzungen

  • Python 3.10.5
  • PyTorch 2.1.2
  • CUDA 11.8

Vorab trainierte Angriffsmodelle & Trigger

Laden Sie die vorab trainierten Checkpoints der Backdoor-Modelle und die optimierten Trigger von Google Drive herunter:

[Google Drive Link]


Verwendung

Die Erkennungsmethode ist in detectvit.py implementiert. Führen Sie main.py aus, um DetectViT gegen jeden Angriff zu evaluieren.

BadViT

python3 main.py \
  --defense DetectViT \
  --attack_type badvit \
  --trojvit_attack_dir TrojViT/logs/Caltech101_DeiT-T_target0_BadViT \
  --trojvit_network DeiT-T \
  --trojvit_num_classes 102 \
  --trojvit_data_dir ./data

TrojViT

python3 main.py \
  --defense DetectViT \
  --attack_type trojvit \
  --trojvit_attack_dir TrojViT/logs/Tiny-ImageNet_DeiT-S_target2_TrojViT \
  --trojvit_data_dir ./data/tiny-imagenet-200 \
  --trojvit_network DeiT-S \
  --gpu 0

BadCLIP

python3 -u main.py \
  --defense DetectViT \
  --attack_type badclip \
  --gpu 0 \
  --eval_data_type ImageNet1K \
  --eval_test_data_dir BadCLIP/data/ImageNet1K/validation/ \
  --add_backdoor \
  --asr \
  --label banana \
  --patch_type ours_tnature \
  --patch_location middle \
  --patch_name BadCLIP/opti_patches/tnature_eda_bs64_ep50_32_middle_01_05_pos_neg.jpg \
  --patch_size 32

BadVision

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    1.1k
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    618
  • 3

    looking-glass

    anonghosty/looking-glass

    CSIRT-Plattform, die Shadowserver-Berichte in MongoDB einliest und sie als interaktive Karten, Analysen, Findings, Advisories und Executive-Dashboards wiedergibt.

    411
  • 4

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    328
  • 5

    jumpserver

    jumpserver/jumpserver

    JumpServer ist eine Open-Source-Plattform für Privileged Access Management (PAM), die DevOps- und IT-Teams bedarfsgesteuerten und sicheren Zugriff auf SSH-, RDP-, Kubernetes-, Datenbank- und RemoteApp-Endpunkte über einen Webbrowser bietet.

    314
  • 6

    Aliens_eye

    arxhr007/aliens_eye

    KI-gestützte OSINT-Engine zur Entdeckung und Kartierung von über 7.700 Social-Media-Identitäten im gesamten Web

    275

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →