Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
Tools/GitHubGitHub/hondamunigeprasannasilva/attack-attention
Maschinelles LernenKI-SicherheitAdversarial-Angriff
GitHubhondamunigeprasannasilva/attack-attention

attack-attention

[CVPR 2025-ADVML] Offizielles Repository für `Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks`

Repository anzeigen
Teilen
646vor 1 JahrNoch nicht geprüft

Angriffe auf die Aufmerksamkeit von Foundation-Modellen stören nachgelagerte Aufgaben wirksam

Offizielle PyTorch-Implementierung des Papers „Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks", angenommen im Workshop Adversarial Machine Learning on Computer Vision: Foundation Models + X (ADVML) der CVPR 2025.

„Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks"
Hondamunige Prasanna Silva, Federico Becattini und Lorenzo Seidenari

Zusammenfassung: Foundation-Modelle stellen den bedeutendsten und jüngsten Paradigmenwechsel in der künstlichen Intelligenz dar. Foundation-Modelle sind große Modelle, die auf breiten Daten trainiert werden und bei vielen nachgelagerten Aufgaben eine hohe Genauigkeit liefern, oft ohne Feinabstimmung. Aus diesem Grund werden Modelle wie CLIP, DINO oder Vision Transformer (ViT) zum Fundament vieler industrieller KI-gestützter Anwendungen. Die Abhängigkeit von vortrainierten Foundation-Modellen bringt jedoch auch erhebliche Sicherheitsbedenken mit sich, da diese Modelle anfällig für adversarial Angriffe sind. Solche Angriffe umfassen gezielt erstellte Eingaben, die darauf ausgelegt sind, KI-Systeme zu täuschen und ihre Zuverlässigkeit zu gefährden. Dieses Paper untersucht die Schwachstellen von visuellen Foundation-Modellen, wobei der Schwerpunkt auf CLIP und ViTs liegt, und erforscht die Übertragbarkeit von adversarial Angriffen auf nachgelagerte Aufgaben. Wir führen einen neuartigen Angriff ein, der die Struktur transformerbasierter Architekturen aufgabenagnostisch angreift. Wir demonstrieren die Wirksamkeit unseres Angriffs auf mehrere nachgelagerte Aufgaben: Klassifikation, Bildunterschriftenerzeugung, Bild-/Textabruf, Segmentierung und Tiefenschätzung.

Inhaltsverzeichnis

  • Zusammenfassung
  • Installation
  • Projektstruktur
  • Modelle und Datensätze herunterladen
  • So starten Sie den Angriff
  • Verwendung
  • Auswertung
  • TODO
  • Zitieren

Conda-Umgebung installieren

conda env create -f environment.yml

Das Projekt als Paket ausführen

pip install .  
pip install -e .  # Falls Sie den Bearbeitungsmodus wünschen!

Projektstruktur

attack-attention
├─ .gitignore
├─ .pre-commit-config.yaml
├─ LICENSE
├─ README.md
├─ checkpoint
│  ├─ albef
│  └─ tcl
├─ data
│  ├─ flickr30k-images
│  └─ val2014
├─ SGA
│  └─ ...
├─ data_annotation
│  ├─ coco_test.json
│  └─ flickr30k_test.json
├─ environment.yml
├─ eval_clip-vit2albef.py
├─ eval_clip-vit2clip-cnn.py
├─ eval_clip.py
├─ models
│  ├─ __init__.py
│  ├─ clip_model
│  │  ├─ model.py
│  │  └─ ..
│  └─ ..
└─ std_eval_idx
   ├─ flickr30k
   └─ mscoco

Modell und Datensätze herunterladen

Erstellen Sie den Ordner checkpoint im Hauptverzeichnis und laden Sie die TCL- und ALBEF-Modelle herunter. Die Checkpoints der feinabgestimmten VLP-Modelle sind bei ALBEF und TCL verfügbar.

Erstellen Sie den Ordner data im Hauptverzeichnis und laden Sie FLICKR30K sowie MSCOCO herunter.

So starten Sie den SGA-Angriff

Lesen Sie die readme.md im Ordner SGA.

Verwendung

Parameter

ArgumentStandardTypBeschreibung
--config./configs/Retrieval_flickr.yamlstrPfad zur YAML-Konfigurationsdatei.
--seed42intSeed für die Zufallszahlengenerierung zur Sicherstellung der Reproduzierbarkeit.
--source_modelViT-B/16strName des Quellmodells, das für die Auswertung verwendet wird.
--source_text_encoderbert-base-uncasedstrText-Encoder-Architektur für das Quellmodell.
--source_ckptNonestrPfad zum Checkpoint des Quellmodells, falls vorhanden.
--target_modelALBEFstrZielmodell für die Auswertung.
--target_text_encoderbert-base-uncasedstrText-Encoder für das Zielmodell.
--target_ckpt./checkpoint/albef/flickr30k.pthstrPfad zum Checkpoint des Zielmodells.
--original_rank_index_path./std_eval_idx/flickr30k/strPfad zur Datei mit den ursprünglichen Rangindizes.
--alpha90intGewicht für die Verlustfunktion während der adversarial Optimierung.
--lossatnstrTyp der zu verwendenden Verlustfunktion.
--method1intKennung für die Angriffsmethode; Details finden Sie in der Funktion my_attack.
--index11intSchichtindex im Zielmodell, der angegriffen werden soll.

Auswertung des Angriffs

Zur Auswertung des Angriffs ohne Übertragbarkeit

python eval_clip.py  --config ./configs/Retrieval_coco.yaml \
   --source_model ViT-B/16 --original_rank_index ./std_eval_idx/mscoco/ \
   --loss atn --method 1;

Zur Auswertung des Angriffs mit Übertragbarkeit (ALBEF)

python eval_clip-vit2albef.py  --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16  --target_model ALBEF --target_ckpt ./checkpoint/albef/flickr30k.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Zur Auswertung des Angriffs mit Übertragbarkeit (TCL)

python eval_clip-vit2albef.py --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16 --target_model TCL --target_ckpt ./checkpoint/tcl/checkpoint_flickr_finetune.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Zur Auswertung des Angriffs mit Übertragbarkeit (CLIP-CNN)

python eval_clip-vit2clip-cnn.py --config ./configs/Retrieval_flickr.yaml \
--source_model ViT-B/16  --target_model RN101 \
--original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Für Experimente verwendete Parameter

--source_model ViT-B/16 --method 3 --loss emb

TODO

  • Das Repository um alle während der Experimente verwendeten nachgelagerten Aufgaben ergänzen
  • Den Code überarbeiten

Zitieren

Wenn Sie diese Arbeit nützlich finden, ziehen Sie bitte ein Zitat in Betracht:

@InProceedings{Silva_2025_CVPR,
    author    = {Silva, Hondamunige Prasanna and Becattini, Federico and Seidenari, Lorenzo},
    title     = {Attacking Attention of Foundation Models Disrupts Downstream Tasks},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR) Workshops},
    month     = {June},
    year      = {2025},
    pages     = {3534-3543}
}```
Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    576
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    388
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    330
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    255
  • 6

    antifox

    antifox-ai/antifox

    KI-Multi-Agenten-Plattform für autonome Penetrationstests, die Recon, Angriffsflächen-Erkennung, Exploit-Validierung und evidenzbasierte Berichtserstellung durchführt.

    247

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →