Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
attack-attention — [CVPR 2025-ADVML] Repositorio oficial de `Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks` | Kitploit
Herramientas/GitHubGitHub/hondamunigeprasannasilva/attack-attention
Aprendizaje AutomáticoSeguridad de IAAtaque Adversario
GitHubhondamunigeprasannasilva/attack-attention

attack-attention

[CVPR 2025-ADVML] Repositorio oficial de `Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks`

Ver Repositorio
Compartir
646hace 1 añoAún no revisado

Atacar la atención de los modelos fundacionales interrumpe eficazmente las tareas posteriores

Implementación oficial en PyTorch del artículo "Atacar la atención de los modelos fundacionales interrumpe eficazmente las tareas posteriores", aceptado en el taller Adversarial Machine Learning on Computer Vision: Foundation Models + X (ADVML) de CVPR 2025.

# Atacar la atención de los modelos fundacionales interrumpe eficazmente las tareas posteriores"
Hondamunige Prasanna Silva, Federico Becattini y Lorenzo Seidenari

Resumen: Los modelos fundacionales representan el cambio de paradigma más destacado y reciente en la inteligencia artificial. Los modelos fundacionales son modelos grandes, entrenados con datos amplios que ofrecen alta precisión en muchas tareas posteriores, a menudo sin ajuste fino. Por esta razón, modelos como CLIP, DINO o Vision Transformers (ViT) se están convirtiendo en la base de muchas aplicaciones industriales impulsadas por IA. Sin embargo, la dependencia de modelos fundacionales preentrenados también introduce importantes problemas de seguridad, ya que estos modelos son vulnerables a ataques adversariales. Dichos ataques implican entradas deliberadamente diseñadas para engañar a los sistemas de IA, comprometiendo su fiabilidad. Este artículo estudia las vulnerabilidades de los modelos fundacionales de visión, centrándose específicamente en CLIP y ViTs, y explora la transferibilidad de los ataques adversariales a tareas posteriores. Presentamos un nuevo ataque que apunta a la estructura de las arquitecturas basadas en transformers de forma independiente de la tarea. Demostramos la efectividad de nuestro ataque en varias tareas posteriores: clasificación, generación de subtítulos, recuperación de imágenes/texto, segmentación y estimación de profundidad.

Tabla de contenidos

  • Resumen
  • Instalación
  • Estructura del proyecto
  • Descargar modelos y conjuntos de datos
  • Cómo lanzar el ataque
  • Uso
  • Evaluación
  • Tareas pendientes
  • Citación

Instalar entorno conda

conda env create -f environment.yml

Ejecutar el proyecto como paquete

pip install .  
pip instlal -e .  # If you want in edit mode!

Estructura del proyecto

attack-attention
├─ .gitignore
├─ .pre-commit-config.yaml
├─ LICENSE
├─ README.md
├─ checkpoint
│  ├─ albef
│  └─ tcl
├─ data
│  ├─ flickr30k-images
│  └─ val2014
├─ SGA
│  └─ ...
├─ data_annotation
│  ├─ coco_test.json
│  └─ flickr30k_test.json
├─ environment.yml
├─ eval_clip-vit2albef.py
├─ eval_clip-vit2clip-cnn.py
├─ eval_clip.py
├─ models
│  ├─ __init__.py
│  ├─ clip_model
│  │  ├─ model.py
│  │  └─ ..
│  └─ ..
└─ std_eval_idx
   ├─ flickr30k
   └─ mscoco

Descarga del modelo y los conjuntos de datos

Cree la carpeta checkpoint dentro de la carpeta raíz y descargue los modelos TCL y ALBEF. Los checkpoints de los modelos VLP ajustados están disponibles en ALBEF, TCL.

Cree la carpeta data dentro de la carpeta raíz y descargue FLICKR30K, MSCOCO.

Cómo lanzar el ataque SGA

Consulte readme.md dentro de SGA folder.

Cómo usar

Parámetros

ArgumentoPredeterminadoTipoDescripción
--config./configs/Retrieval_flickr.yamlstrRuta al archivo de configuración YAML.
--seed42intSemilla para la generación de números aleatorios para garantizar la reproducibilidad.
--source_modelViT-B/16strNombre del modelo fuente utilizado para la evaluación.
--source_text_encoderbert-base-uncasedstrArquitectura del codificador de texto para el modelo fuente.
--source_ckptNonestrRuta al checkpoint del modelo fuente, si existe.
--target_modelALBEFstrModelo objetivo para la evaluación.
--target_text_encoderbert-base-uncasedstrCodificador de texto para el modelo objetivo.
--target_ckpt./checkpoint/albef/flickr30k.pthstrRuta al checkpoint del modelo objetivo.
--original_rank_index_path./std_eval_idx/flickr30k/strRuta al archivo que contiene los índices de rango originales.
--alpha90intPeso para la función de pérdida durante la optimización adversarial.
--lossatnstrTipo de función de pérdida a utilizar.
--method1intIdentificador del método de ataque; consulte la función my_attack para más detalles.
--index11intÍndice de capa a atacar en el modelo objetivo.

Evaluación del ataque

Para evaluar el ataque without trasferability

python eval_clip.py  --config ./configs/Retrieval_coco.yaml \
   --source_model ViT-B/16 --original_rank_index ./std_eval_idx/mscoco/ \
   --loss atn --method 1;

Para evaluar el ataque con transferibilidad (ALBEF)

python eval_clip-vit2albef.py  --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16  --target_model ALBEF --target_ckpt ./checkpoint/albef/flickr30k.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Para evaluar el ataque con transferibilidad (TCL)

python eval_clip-vit2albef.py --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16 --target_model TCL --target_ckpt ./checkpoint/tcl/checkpoint_flickr_finetune.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Para evaluar el ataque con transferibilidad (CLIP-CNN)

python eval_clip-vit2clip-cnn.py --config ./configs/Retrieval_flickr.yaml \
--source_model ViT-B/16  --target_model RN101 \
--original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Parámetros usados en los experimentos

--source_model ViT-B/16 --method 3 --loss emb

Tareas pendientes

  • Completar el repositorio con todas las tareas posteriores utilizadas durante los experimentos
  • Refactorizar el código

Citación

Si encuentra útil este trabajo, considere citarlo:

@InProceedings{Silva_2025_CVPR,
    author    = {Silva, Hondamunige Prasanna and Becattini, Federico and Seidenari, Lorenzo},
    title     = {Attacking Attention of Foundation Models Disrupts Downstream Tasks},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR) Workshops},
    month     = {June},
    year      = {2025},
    pages     = {3534-3543}
}
Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    717
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    504
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    402
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    260
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de pruebas de penetración autónoma con múltiples agentes de IA que ejecuta reconocimiento, descubrimiento de superficie de ataque, validación de explotación y entrega de informes respaldados por evidencia.

    259

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →