
Pipeline de investigación que implementa un jailbreak visual-contextual contra LLMs multimodales: extracción de prompts T2I, renderizado de imágenes con SD3.5, construcción de contexto de suplantación en múltiples rondas y evaluación de ASR juzgada por GPT-4o.
VisCo-Attack Original es pionero de un paradigma de ataque centrado en la visión y aprovecha múltiples imágenes a lo largo de diálogos de múltiples turnos; sus estrategias personalizadas de fabricación de contexto logran una tasa de éxito de ataque notablemente alta contra los principales MLLMs, posicionándolo como uno de los métodos de jailbreak más potentes para MLLMs hasta la fecha.
Si estás interesado en nuestro trabajo, por favor dale una estrella ⭐ a nuestro proyecto, Gracias 💕
⚠️ ADVERTENCIA: Este repositorio contiene técnicas de prompts adversarios destinadas únicamente a fines de investigación y seguridad.
VisCo-Attack es nuestro framework de jailbreak visual-contextual presentado en el artículo "Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection". En lugar de tratar una imagen como un mero disparador, VisCo-Attack construye un contexto de diálogo de múltiples turnos realista y fabricado en el que la entrada visual es esencial para el escenario dañino. Teje automáticamente ese contexto con cuatro estrategias centradas en imágenes —Simulación de Escenario Basada en Imágenes (VS), Análisis Multiperspectiva (VM), Interrogación Iterativa (VI) y Explotación de Alucinaciones (VH)— y luego realiza ofuscación de toxicidad y refinamiento semántico para producir un único prompt de ataque. En un entorno totalmente de caja negra, este prompt rompe de forma fiable MLLMs de última generación como GPT-4o, Gemini 2.0 flash e InternVL-2.5, elevando la tasa de éxito de ataque al 85 – 91 % en MM-SafetyBench, FigStep-SafeBench y HarmBench, mientras mantiene puntuaciones de toxicidad superiores a 4.7 / 5.
Figura: Descripción general del método Visual Contextual Attack (Visco-Attack).
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard)El pipeline tiene 4 roles de LLM en configs/default.yaml:
generator, wizard, target, judge. Los roles generator y wizard
hacen el trabajo real de red-team (construir contextos falsificados, producir
continuaciones de falso éxito). Deben estar dispuestos a seguir las instrucciones
de red-team basadas en plantillas en prompts/*.md — los modelos alineados con
la seguridad normalmente se negarán y el pipeline se degradará a salidas vacías
o no analizables.
Los siguientes modelos funcionaron bien para los roles de red-team:
| Modelo | Rol(es) para los que sirve | Notas |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | Un derivado de Qwen3 de la comunidad. vllm_client.py desactiva automáticamente el modo de pensamiento de Qwen3 cuando detecta este nombre de modelo. |
| Qwen2.5-72B-Instruct | generator | Alineado, pero normalmente aún coopera produciendo contextos inseguros fabricados. |
Modelos que se niegan con frecuencia (no los uses como generator o wizard):
Si prefieres verificar todo el pipeline de extremo a extremo antes de hacer una ejecución real,
tools/run_real_smoke.sh es un wrapper de un solo uso que escribe una configuración mínima (3
preguntas × 1 estrategia × 1 gen × 2 rondas), ejecuta las 6 etapas con difusión SD3.5
real, e imprime los recuentos de archivos por etapa + ASR al final. Todas las rutas son
sobrescribibles mediante variables de entorno:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
Aumenta las variables de entorno INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS
para escalar hasta la ejecución completa fiel al artículo.
Descubre las herramientas más usadas por nuestra comunidad.
Sin datos de popularidad aún.