Обучение обнаружению неизвестных jailbreak-атак в больших визуально-языковых моделях

Официальная реализация «Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models».

Этот репозиторий содержит код обработки данных, извлечения скрытых состояний, обучения классификатора, автоэнкодера паттернов безопасности и оценки, использованный в проекте.

В этом выпуске представлена реализация для LLaVA-v1.6-Vicuna-7B. Адаптация конвейера к Qwen2.5-VL или CogVLM требует специфичной для модели обработки входных данных и отдельно обученных детекторов.

Содержание

• Модели
• Структура репозитория
• Конвейер обнаружения
• Наборы данных

Модели

В экспериментах используются следующие базовые модели:

• LLaVA-v1.6-Vicuna-7B — большая визуально-языковая модель на основе Vicuna.
• Llama Guard 3 8B — модель защитного ограждения, используемая для оценки сгенерированных ответов.

Загрузите веса моделей отдельно и разместите их в:

asset/weights/

Структура репозитория

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

Конвейер обнаружения

Некоторые скрипты используют пути относительно своего рабочего каталога. Запускайте команды из каталогов, указанных ниже.

1. Запрос к модели «визуальный язык»

Выполните запрос к модели на небезопасных исходных данных (AdvBench) и безопасных исходных данных (GQA):

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

Данные HarmBench DirectRequest можно запрашивать через тот же интерфейс:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. Оценка и разделение ответов модели

Оцените сгенерированные ответы AdvBench с помощью Llama Guard 3:

python llama3_guard.py --file vicuna/instructions/advbench.json

Создайте обучающие/тестовые разбиения AdvBench и GQA:

cd vicuna/instructions
python process.py
cd ../..

3. Извлечение скрытых состояний

Извлеките скрытые состояния для оценочных бенчмарков, настроенных в данный момент в vicuna/qa-baseline.py:

cd vicuna
python qa-baseline.py
cd ..

4. Обучение и тестирование классификаторов MSCAV

cd vicuna
python train.py --train
python train.py --test
cd ..

5. Обучение автоэнкодера шаблонов безопасности (SPAE)

python autoencoder.py

6. Оценка эффективности обнаружения

python test.py

Наборы данных

Данные для обучения и приложения

Набор данных	Роль	Метаданные	Изображения
AdvBench	Исходные небезопасные данные	vicuna/instructions/advbench.json	asset/advbench/
GQA	Исходные безопасные данные	vicuna/instructions/GQA.json	asset/GQA/
HarmBench (DirectRequest)	Эксперимент с небезопасными исходными данными, описанный в приложении	vicuna/instructions/harmbench.json	asset/harmbench/

Включённое подмножество HarmBench DirectRequest содержит 320 пар «изображение–запрос». Пути к изображениям в harmbench.json заданы относительно репозитория и следуют той же схеме размещения, что и в AdvBench.

Оценочные бенчмарки

Скачайте оценочные изображения с ModelScope: detecpolo/Learning-to-Detect и скопируйте скачанный каталог asset/ в корень репозитория. Соответствующие JSON-файлы бенчмарков предоставлены в этом репозитории в каталоге Benchmarks/.

Источники наборов данных, построение атак и экспериментальные настройки см. в разделе 4.1 и приложениях нашей статьи.