Skip to content
KitploitKITPLOIT
ИнструментыБлог
Log in
Отправить
ИнструментыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
Multimodal-Unlearnable-Examples — Код для ACM MM2024 (Мультимодальные необучаемые примеры: защита данных от мультимодального контрастивного обучения) | Kitploit
Инструменты/GitHubGitHub/thinwayliu/multimodal-unlearnable-examples
КонфиденциальностьСтатьи и ИсследованияБезопасность ИИСостязательная Атака
GitHubthinwayliu/multimodal-unlearnable-examples

Multimodal-Unlearnable-Examples

Код для ACM MM2024 (Мультимодальные необучаемые примеры: защита данных от мультимодального контрастивного обучения)

Репозиторий
Поделиться
15462 лет назадЕщё не проверено

Мультимодальные необучаемые примеры: защита данных от мультимодального контрастивного обучения (ACM MM2024)

Аннотация: Мультимодальное контрастивное обучение (MCL) достигло значительных успехов в классификации без обучения на примерах (zero-shot classification) за счёт обучения на миллионах пар «изображение-подпись», собранных из Интернета. Однако такая зависимость создаёт риски для конфиденциальности, поскольку хакеры могут несанкционированно использовать данные «изображение-текст» для обучения моделей, включая личную и чувствительную информацию. Недавние работы предлагают создавать необучаемые примеры путём добавления незаметных возмущений к обучающим изображениям для формирования «коротких путей» (shortcuts) с целью защиты. Однако они разработаны для одномодальной классификации, и в MCL эта область остаётся практически неизученной. Мы впервые исследуем этот контекст, оценивая производительность существующих методов на парах «изображение-подпись», и обнаруживаем, что они плохо обобщаются на мультимодальные данные и оказывают ограниченное влияние на создание «коротких путей» из-за отсутствия меток и разрозненности пар в MCL. В этой статье мы предлагаем Multi-step Error Minimization (MEM) — новый процесс оптимизации для генерации мультимодальных необучаемых примеров. Он расширяет фреймворк Error-Minimization (EM) для одновременной оптимизации шума изображения и дополнительного текстового триггера, тем самым расширяя пространство оптимизации и эффективно обманывая модель, заставляя её выучить «короткий путь» между признаками шума и текстовым триггером. В частности, мы используем проектный градиентный спуск (projected gradient descent) для решения задачи минимизации шума и применяем HotFlip для аппроксимации градиента и замены слов с целью поиска оптимального текстового триггера. Обширные эксперименты демонстрируют эффективность MEM: результаты поиска после защиты составляют почти половину от случайного угадывания, а также подтверждают высокую переносимость метода на разные модели.

Editor

Требования

Наш код основан на исходном коде CleanCLIP.

  • Поддерживаются Linux и Windows, но мы настоятельно рекомендуем Linux по соображениям производительности и совместимости.
  • Требуется 64-битный Python 3.7+.

Настройка окружения и установка зависимостей

Conda (рекомендуется)

Следуйте инструкциям по следующей ссылке для установки anaconda: Anaconda Setup

Следующие команды создают conda-окружение внутри репозитория со всеми зависимостями.

conda env create --prefix ./env -f environment.yml
source activate ./env

Pip

Зависимости можно установить напрямую, без создания conda-окружения.

pip install -r requirements.txt

Датасет

Мы уже разделили эти датасеты на обучающий, валидационный и тестовый наборы. Результаты разделения можно найти, например, в ~/Data/Dataset/train.csv .

Flickr8k

Датасет Flickr 8k содержит 8092 изображений и до пяти подписей для каждого изображения. Датасет можно скачать здесь.

Flickr30k

Датасет Flickr30k содержит 31 000 изображений, собранных из Flickr, а также 5 эталонных предложений, предоставленных аннотаторами. Датасет можно скачать здесь.

MSCOCO

Датасет можно скачать здесь.

Генерация мультимодальных необучаемых примеров

Чистое обучение на Flickr8K

python -m src.main --name clean_flick8k --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images  --caption_key caption  --device_id 0

Защита с помощью мультимодальных необучаемых примеров (MEM)

установите длину текстового триггера равной 3

python -m src.poison --name poison_token_3_shuffle --train_data /data/clip/Flicker-8k/train.csv  --image_key images  --caption_key caption  --device_id 0 --token_num 3 --lr 1e-4 

установите длину текстового триггера равной 5

python -m src.poison --name poison_token_5_shuffle --train_data /data/clip/Flicker-8k/train.csv  --image_key images  --caption_key caption  --device_id 1 --token_num 5 --lr 1e-4

Оценка производительности

python -m src.poison_main --name eval_token_3_shuffle --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images  --caption_key caption  --device_id 0 --save_pert poison_token_3_shuffle --token_num 3  --lr 5e-4
python -m src.poison_main --name eval_token_5_shuffle --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images  --caption_key caption  --device_id 1 --save_pert poison_token_5_shuffle --token_num 5  --lr 5e-4

Благодарности

Некоторые части кода в этом репозитории являются адаптацией следующих репозиториев: CleanCLIP, openai и universal-triggers.

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    837
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    536
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    424
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    355
  • 5

    looking-glass

    anonghosty/looking-glass

    Платформа CSIRT, которая загружает отчёты Shadowserver в MongoDB и воспроизводит их в виде интерактивных карт, аналитики, результатов, рекомендаций и исполнительных дашбордов.

    294
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    276

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →