
Исследовательский пайплайн, реализующий визуально-контекстный джейлбрейк против мультимодальных LLM: извлечение промптов T2I, рендеринг изображений SD3.5, многораундовое построение поддельного контекста и оценка ASR с судейством GPT-4o.
VisCo-Attack Original прокладывает путь к парадигме атаки, ориентированной на изображения, и задействует несколько изображений в рамках многоходовых диалогов; его специально разработанные стратегии фабрикации контекста обеспечивают заметно высокую долю успешных атак против ведущих MLLM, что делает его одним из самых сильных на сегодняшний день методов jailbreak для MLLM.
Если вам интересна наша работа, пожалуйста, поставьте звезду ⭐ нашему проекту, спасибо 💕
⚠️ ВНИМАНИЕ: Этот репозиторий содержит методы состязательных промптов, предназначенные исключительно для исследовательских целей и целей безопасности.
VisCo-Attack — это наш фреймворк визуально-контекстуального jailbreak, представленный в статье «Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection». Вместо того чтобы рассматривать изображение как простой триггер, VisCo-Attack выстраивает реалистичный, сфабрикованный контекст многоходового диалога, в котором визуальный ввод является неотъемлемой частью вредоносного сценария. Он автоматически сплетает этот контекст с помощью четырёх стратегий, ориентированных на изображения — Image-Grounded Scenario Simulation (VS), Multi-Perspective Analysis (VM), Iterative Interrogation (VI) и Hallucination Exploitation (VH), — а затем выполняет обфускацию токсичности и семантическое уточнение, чтобы получить единый атакующий промпт. В полностью чёрноящичном режиме этот промпт надёжно взламывает современные MLLM, такие как GPT-4o, Gemini 2.0 flash и InternVL-2.5, повышая долю успешных атак до 85 – 91 % на MM-SafetyBench, FigStep-SafeBench и HarmBench при сохранении показателей токсичности выше 4.7 / 5.
Рисунок: Обзор метода Visual Contextual Attack (Visco-Attack).
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard)В пайплайне 4 роли LLM в configs/default.yaml:
generator, wizard, target, judge. Роли generator и wizard
выполняют фактическую red-team работу (конструирование поддельных контекстов, создание
продолжений с ложным успехом). Они должны быть готовы следовать шаблонным
red-team инструкциям в prompts/*.md — модели с выравниванием по безопасности
обычно отказываются, и пайплайн деградирует до пустых / неразбираемых
выходных данных.
Следующие модели хорошо работали для red-team ролей:
| Модель | Подходящие роли | Примечания |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | Производная от Qwen3 от сообщества. vllm_client.py автоматически отключает режим размышления Qwen3, когда видит это имя модели. |
| Qwen2.5-72B-Instruct | generator | Выровненная, но обычно всё же сотрудничает в создании сфабрикованных небезопасных контекстов. |
Модели, которые часто отказываются (не используйте их как generator или wizard):
Если вы хотите проверить весь пайплайн от начала до конца перед реальным запуском,
tools/run_real_smoke.sh — это одноразовая обёртка, которая записывает крошечный конфиг (3
вопроса × 1 стратегия × 1 генерация × 2 раунда), запускает все 6 этапов с реальной SD3.5
диффузией и в конце выводит количество файлов по этапам + ASR. Все пути
можно переопределить через переменные окружения:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
Увеличьте значения переменных окружения INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS,
чтобы масштабировать до полного запуска, соответствующего статье.