Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
Strumenti/GitHubGitHub/hondamunigeprasannasilva/attack-attention
Machine LearningSicurezza dell'IAAttacco Avversario
GitHubhondamunigeprasannasilva/attack-attention

attack-attention

[CVPR 2025-ADVML] Repository ufficiale per `Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks`

Vedi Repository
Condividi
6461 anno faNon ancora revisionato

Attaccare l'attenzione dei modelli foundation interrompe efficacemente i task downstream

Implementazione ufficiale in PyTorch dell'articolo "Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks", accettato al workshop Adversarial Machine Learning on Computer Vision: Foundation Models + X (ADVML) di CVPR 2025.

# Attaccare l'attenzione dei modelli foundation interrompe efficacemente i task downstream"
Hondamunige Prasanna Silva, Federico Becattini e Lorenzo Seidenari

Abstract: I modelli foundation rappresentano il cambiamento di paradigma più importante e recente nell'intelligenza artificiale. I modelli foundation sono modelli di grandi dimensioni, addestrati su dati ampi, che forniscono alta precisione in molti task downstream, spesso senza fine-tuning. Per questo motivo, modelli come CLIP, DINO o Vision Transformer (ViT), stanno diventando il fondamento di molte applicazioni industriali basate sull'IA. Tuttavia, la dipendenza da modelli foundation pre-addestrati introduce anche significative preoccupazioni per la sicurezza, poiché questi modelli sono vulnerabili ad attacchi avversari. Tali attacchi coinvolgono input deliberatamente progettati per ingannare i sistemi di IA, compromettendone l'affidabilità. Questo articolo studia le vulnerabilità dei modelli foundation per la visione, concentrandosi specificamente su CLIP e ViT, ed esplora la trasferibilità degli attacchi avversari ai task downstream. Introduciamo un nuovo attacco, che mira alla struttura delle architetture basate su transformer in modo agnostico rispetto al task. Dimostriamo l'efficacia del nostro attacco su diversi task downstream: classificazione, generazione di didascalie, recupero immagine/testo, segmentazione e stima della profondità.

Indice

  • Abstract
  • Installazione
  • Struttura del progetto
  • Scarica i modelli e i dataset
  • Come lanciare l'attacco
  • Uso
  • Valutazione dell'attacco
  • TODO
  • Citazione

Installa l'ambiente conda

conda env create -f environment.yml

Esegui il progetto come pacchetto

pip install .  
pip instlal -e .  # If you want in edit mode!

Struttura del progetto

attack-attention
├─ .gitignore
├─ .pre-commit-config.yaml
├─ LICENSE
├─ README.md
├─ checkpoint
│  ├─ albef
│  └─ tcl
├─ data
│  ├─ flickr30k-images
│  └─ val2014
├─ SGA
│  └─ ...
├─ data_annotation
│  ├─ coco_test.json
│  └─ flickr30k_test.json
├─ environment.yml
├─ eval_clip-vit2albef.py
├─ eval_clip-vit2clip-cnn.py
├─ eval_clip.py
├─ models
│  ├─ __init__.py
│  ├─ clip_model
│  │  ├─ model.py
│  │  └─ ..
│  └─ ..
└─ std_eval_idx
   ├─ flickr30k
   └─ mscoco

Scarica i modelli e i dataset

Crea la cartella checkpoint nella cartella root e scarica i modelli TCL e ALBEF. I checkpoint dei modelli VLP fine-tunati sono accessibili in ALBEF, TCL.

Crea la cartella data nella cartella root e scarica FLICKR30K, MSCOCO.

Come lanciare l'attacco SGA

Controlla readme.md all'interno di SGA folder.

Come usare

Parametri

ArgomentoPredefinitoTipoDescrizione
--config./configs/Retrieval_flickr.yamlstrPercorso del file YAML di configurazione.
--seed42intSeed per la generazione di numeri casuali per garantire la riproducibilità.
--source_modelViT-B/16strNome del modello sorgente utilizzato per la valutazione.
--source_text_encoderbert-base-uncasedstrArchitettura dell'encoder di testo per il modello sorgente.
--source_ckptNonestrPercorso del checkpoint per il modello sorgente, se presente.
--target_modelALBEFstrModello target per la valutazione.
--target_text_encoderbert-base-uncasedstrEncoder di testo per il modello target.
--target_ckpt./checkpoint/albef/flickr30k.pthstrPercorso del checkpoint per il modello target.
--original_rank_index_path./std_eval_idx/flickr30k/strPercorso del file contenente gli indici di ranking originali.
--alpha90intPeso per la funzione di perdita durante l'ottimizzazione avversaria.
--lossatnstrTipo di funzione di perdita da utilizzare.
--method1intIdentificatore del metodo di attacco; fare riferimento alla funzione my_attack per i dettagli.
--index11intIndice del layer da attaccare nel modello target.

Valutazione dell'attacco

Per valutare l'attacco senza trasferibilità

python eval_clip.py  --config ./configs/Retrieval_coco.yaml \
   --source_model ViT-B/16 --original_rank_index ./std_eval_idx/mscoco/ \
   --loss atn --method 1;

Per valutare l'attacco con trasferibilità (ALBEF)

python eval_clip-vit2albef.py  --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16  --target_model ALBEF --target_ckpt ./checkpoint/albef/flickr30k.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Per valutare l'attacco con trasferibilità (TCL)

python eval_clip-vit2albef.py --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16 --target_model TCL --target_ckpt ./checkpoint/tcl/checkpoint_flickr_finetune.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Per valutare l'attacco con trasferibilità (CLIP-CNN)

python eval_clip-vit2clip-cnn.py --config ./configs/Retrieval_flickr.yaml \
--source_model ViT-B/16  --target_model RN101 \
--original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Parametro usato per gli esperimenti

--source_model ViT-B/16 --method 3 --loss emb

TODO

  • Completa la repo con tutti i task downstream utilizzati durante gli esperimenti
  • Refactoring del codice

Citazione

Se ritieni utile questo lavoro, considera di citarlo:

@InProceedings{Silva_2025_CVPR,
    author    = {Silva, Hondamunige Prasanna and Becattini, Federico and Seidenari, Lorenzo},
    title     = {Attacking Attention of Foundation Models Disrupts Downstream Tasks},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR) Workshops},
    month     = {June},
    year      = {2025},
    pages     = {3534-3543}
}
Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Il toolkit OSINT definitivo: grafo di indagine, punteggio di affidabilità, famiglie di alias, mappa, timeline e report. 49 moduli, oltre 400 siti, nessuna chiave API richiesta.

    614
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # App di esecuzione con un tocco GhostLock (CVE-2026-43499)

    476
  • 3

    ARTEX

    baarai/artex

    Piattaforma di penetration testing autonoma multi-agente basata su LLM con agenti planner/worker, grafi di asset e di esplorazione, registrazione del traffico MITM e retesting delle vulnerabilità.

    389
  • 4

    redforge

    cybersecurity91/redforge

    Toolkit red team lato browser con 102 strumenti offline per ricognizione, generazione di payload, attacchi alle credenziali, crittografia, codifica e reportistica dell'engagement.

    334
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Il sistema d'azione per la cybersecurity nativa AI—dove l'intento diventa esecuzione governata, le evidenze diventano memoria operativa, e ogni operazione migliora la successiva.

    257
  • 6

    antifox

    antifox-ai/antifox

    Piattaforma multi-agente di penetration testing autonoma basata sull'IA che esegue ricognizione, scoperta della superficie d'attacco, validazione dello sfruttamento e consegna di report supportati da evidenze.

    247

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →