
Pipeline de pesquisa que implementa um jailbreak visual-contextual contra LLMs multimodais: extração de prompt T2I, renderização de imagem com SD3.5, construção de contexto de falsificação em múltiplas rodadas e avaliação de ASR julgada pelo GPT-4o.
O VisCo-Attack Original inaugura um paradigma de ataque centrado na visão e utiliza múltiplas imagens ao longo de diálogos de múltiplos turnos; suas estratégias personalizadas de fabricação de contexto proporcionam uma taxa de sucesso de ataque notavelmente alta contra os principais MLLMs, posicionando-o como um dos métodos de jailbreak mais fortes para MLLMs até o momento.
Se você se interessar pelo nosso trabalho, por favor dê uma estrela ⭐ no nosso projeto, obrigado 💕
⚠️ AVISO: Este repositório contém técnicas de prompt adversariais destinadas apenas a fins de pesquisa e segurança.
VisCo-Attack é o nosso framework de jailbreak visual-contextual apresentado no artigo "Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection". Em vez de tratar uma imagem como um mero gatilho, o VisCo-Attack constrói um contexto de diálogo multifacetado realista e fabricado no qual a entrada visual é essencial para o cenário prejudicial. Ele tece automaticamente esse contexto com quatro estratégias centradas em imagens — Simulação de Cenário Baseada em Imagem (VS), Análise Multiperspectiva (VM), Interrogação Iterativa (VI) e Exploração de Alucinação (VH) — e então realiza ofuscação de toxicidade e refinamento semântico para produzir um único prompt de ataque. Em um cenário totalmente de caixa-preta, esse prompt quebra de forma confiável MLLMs de última geração, como GPT-4o, Gemini 2.0 flash e InternVL-2.5, elevando a taxa de sucesso de ataque para 85 – 91 % no MM-SafetyBench, FigStep-SafeBench e HarmBench, mantendo pontuações de toxicidade acima de 4,7 / 5.
Figura: Visão geral do Método de Ataque Contextual Visual (Visco-Attack).
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard)O pipeline tem 4 funções de LLM em configs/default.yaml:
generator, wizard, target, judge. As funções generator e wizard
fazem o trabalho real de red-team (construindo contextos falsos, produzindo
continuações de falso-sucesso). Elas devem estar dispostas a seguir as instruções
templatizadas de red-team em prompts/*.md — modelos alinhados à segurança
tipicamente recusarão e o pipeline degradará para saídas vazias / não analisáveis.
Os seguintes modelos funcionaram bem para as funções de red-team:
| Modelo | Função(ões) adequada(s) | Notas |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | Um derivado comunitário do Qwen3. vllm_client.py desativa automaticamente o modo de raciocínio do Qwen3 quando detecta este nome de modelo. |
| Qwen2.5-72B-Instruct | generator | Alinhado, mas tipicamente ainda coopera na produção de contextos inseguros fabricados. |
Modelos que frequentemente recusam (não os use como generator ou wizard):
Se preferir verificar todo o pipeline de ponta a ponta antes de fazer uma execução real,
tools/run_real_smoke.sh é um wrapper de uso único que grava uma configuração mínima (3
perguntas × 1 estratégia × 1 geração × 2 rodadas), executa todas as 6 etapas com difusão SD3.5
real e imprime a contagem de arquivos por etapa + ASR ao final. Todos os caminhos são
sobrescrevíveis via variáveis de ambiente:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
Aumente as variáveis de ambiente INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS para escalar até a execução completa fiel ao artigo.