Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
Инструменты/GitHubGitHub/hondamunigeprasannasilva/attack-attention
Машинное ОбучениеБезопасность ИИСостязательная Атака
GitHubhondamunigeprasannasilva/attack-attention

attack-attention

[CVPR 2025-ADVML] Официальный репозиторий для `Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks`

Репозиторий
Поделиться
6461 год назадЕщё не проверено

Атака на внимание фундаментальных моделей эффективно нарушает downstream-задачи

Официальная реализация на PyTorch статьи "Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks", принятой на семинаре Adversarial Machine Learning on Computer Vision: Foundation Models + X (ADVML) конференции CVPR 2025.

# Attacking Attention of Foundation Models Effectively Disrupts Downstream Tasks"
Hondamunige Prasanna Silva, Federico Becattini and Lorenzo Seidenari

Аннотация: Фундаментальные модели представляют собой наиболее значимый и недавний сдвиг парадигмы в искусственном интеллекте. Фундаментальные модели — это большие модели, обученные на обширных данных, которые обеспечивают высокую точность во многих downstream-задачах, часто без тонкой настройки. По этой причине такие модели, как CLIP, DINO или Vision Transfomers (ViT), становятся основой многих промышленных приложений на основе ИИ. Однако зависимость от предобученных фундаментальных моделей также создаёт серьёзные проблемы безопасности, поскольку эти модели уязвимы к состязательным атакам. Такие атаки включают специально созданные входные данные, предназначенные для обмана систем ИИ, ставя под угрозу их надёжность. В этой статье изучаются уязвимости визуальных фундаментальных моделей, в частности CLIP и ViT, и исследуется переносимость состязательных атак на downstream-задачи. Мы представляем новую атаку, нацеленную на структуру трансформерных архитектур и не зависящую от конкретной задачи. Мы демонстрируем эффективность нашей атаки на нескольких downstream-задачах: классификация, генерация подписей, поиск изображений/текста, сегментация и оценка глубины.

Содержание

  • Аннотация
  • Установка
  • Структура проекта
  • Загрузка моделей и наборов данных
  • Как запустить атаку
  • Использование
  • Оценка
  • TODO
  • Цитирование

Установка conda-окружения

conda env create -f environment.yml

Запуск проекта как пакета

pip install .  
pip instlal -e .  # If you want in edit mode!

Структура проекта

attack-attention
├─ .gitignore
├─ .pre-commit-config.yaml
├─ LICENSE
├─ README.md
├─ checkpoint
│  ├─ albef
│  └─ tcl
├─ data
│  ├─ flickr30k-images
│  └─ val2014
├─ SGA
│  └─ ...
├─ data_annotation
│  ├─ coco_test.json
│  └─ flickr30k_test.json
├─ environment.yml
├─ eval_clip-vit2albef.py
├─ eval_clip-vit2clip-cnn.py
├─ eval_clip.py
├─ models
│  ├─ __init__.py
│  ├─ clip_model
│  │  ├─ model.py
│  │  └─ ..
│  └─ ..
└─ std_eval_idx
   ├─ flickr30k
   └─ mscoco

Загрузка модели и наборов данных

Создайте папку checkpoint в корневой папке и загрузите модели TCL и ALBEF. Контрольные точки дообученных VLP-моделей доступны в ALBEF, TCL.

Создайте папку data в корневой папке и загрузите FLICKR30K, MSCOCO.

Как запустить SGA-атаку

Смотрите readme.md внутри SGA folder.

Как использовать

Параметры

АргументПо умолчаниюТипОписание
--config./configs/Retrieval_flickr.yamlstrПуть к конфигурационному YAML-файлу.
--seed42intСемя для генерации случайных чисел, чтобы обеспечить воспроизводимость.
--source_modelViT-B/16strНазвание исходной модели, используемой для оценки.
--source_text_encoderbert-base-uncasedstrАрхитектура текстового энкодера исходной модели.
--source_ckptNonestrПуть к контрольной точке исходной модели, если она есть.
--target_modelALBEFstrЦелевая модель для оценки.
--target_text_encoderbert-base-uncasedstrТекстовый энкодер целевой модели.
--target_ckpt./checkpoint/albef/flickr30k.pthstrПуть к контрольной точке целевой модели.
--original_rank_index_path./std_eval_idx/flickr30k/strПуть к файлу, содержащему исходные индексы ранжирования.
--alpha90intВес функции потерь при состязательной оптимизации.
--lossatnstrТип используемой функции потерь.
--method1intИдентификатор метода атаки; подробнее см. функцию my_attack.
--index11intИндекс слоя в целевой модели, который подвергается атаке.

Оценка атаки

Для оценки атаки without trasferability

python eval_clip.py  --config ./configs/Retrieval_coco.yaml \
   --source_model ViT-B/16 --original_rank_index ./std_eval_idx/mscoco/ \
   --loss atn --method 1;

Для оценки атаки с переносимостью (ALBEF)

python eval_clip-vit2albef.py  --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16  --target_model ALBEF --target_ckpt ./checkpoint/albef/flickr30k.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Для оценки атаки с переносимостью (TCL)

python eval_clip-vit2albef.py --config ./configs/Retrieval_flickr.yaml \
   --source_model ViT-B/16 --target_model TCL --target_ckpt ./checkpoint/tcl/checkpoint_flickr_finetune.pth \
   --original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Для оценки атаки с переносимостью (CLIP-CNN)

python eval_clip-vit2clip-cnn.py --config ./configs/Retrieval_flickr.yaml \
--source_model ViT-B/16  --target_model RN101 \
--original_rank_index ./std_eval_idx/flickr30k/ --loss atn --method 1

Параметры, использованные в экспериментах

--source_model ViT-B/16 --method 3 --loss emb

TODO

  • Дополнить репозиторий всеми downstream-задачами, использованными в экспериментах
  • Отрефакторить код

Цитирование

Если вы считаете эту работу полезной, пожалуйста, рассмотрите возможность цитирования:

@InProceedings{Silva_2025_CVPR,
    author    = {Silva, Hondamunige Prasanna and Becattini, Federico and Seidenari, Lorenzo},
    title     = {Attacking Attention of Foundation Models Disrupts Downstream Tasks},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR) Workshops},
    month     = {June},
    year      = {2025},
    pages     = {3534-3543}
}
Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    916
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    558
  • 3

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    370
  • 4

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    360
  • 5

    looking-glass

    anonghosty/looking-glass

    Платформа CSIRT, которая загружает отчёты Shadowserver в MongoDB и воспроизводит их в виде интерактивных карт, аналитики, результатов, рекомендаций и исполнительных дашбордов.

    317
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    289

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →