
Pipeline di ricerca che implementa un jailbreak visivo-contestuale contro LLM multimodali: estrazione del prompt T2I, rendering delle immagini con SD3.5, costruzione di un contesto spoof su più round e valutazione ASR giudicata da GPT-4o.
VisCo-Attack Original inaugura un paradigma di attacco incentrato sulla visione e sfrutta più immagini attraverso dialoghi multi-turno; le sue strategie su misura per la fabbricazione del contesto garantiscono un tasso di successo dell'attacco notevolmente elevato contro i principali MLLM, posizionandolo come uno dei più potenti metodi di jailbreak per MLLM fino ad oggi.
Se il nostro lavoro ti interessa, metti una stella ⭐ al nostro progetto, grazie 💕
⚠️ ATTENZIONE: Questo repository contiene tecniche di prompt adversariali destinate esclusivamente a scopi di ricerca e sicurezza.
VisCo-Attack è il nostro framework di jailbreak visivo-contestuale introdotto nel paper "Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection". Invece di trattare un'immagine come un mero trigger, VisCo-Attack costruisce un contesto di dialogo multi-turno realistico e fabbricato in cui l'input visivo è essenziale per lo scenario dannoso. Intreccia automaticamente tale contesto con quattro strategie incentrate sull'immagine—Image-Grounded Scenario Simulation (VS), Multi-Perspective Analysis (VM), Iterative Interrogation (VI) e Hallucination Exploitation (VH)—per poi eseguire offuscamento della tossicità e raffinamento semantico al fine di produrre un singolo prompt di attacco. In un contesto completamente black-box, questo prompt compromette in modo affidabile MLLM all'avanguardia come GPT-4o, Gemini 2.0 flash e InternVL-2.5, spingendo il tasso di successo dell'attacco all'85 – 91 % su MM-SafetyBench, FigStep-SafeBench e HarmBench, mantenendo al contempo punteggi di tossicità superiori a 4.7 / 5.
Figura: Panoramica del metodo Visual Contextual Attack (Visco-Attack).
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard)La pipeline prevede 4 ruoli LLM in configs/default.yaml:
generator, wizard, target, judge. I ruoli generator e wizard
svolgono il lavoro red-team effettivo (costruzione di contesti spoof, produzione
di continuazioni fake-success). Devono essere disposti a seguire le istruzioni
red-team templatizzate in prompts/*.md — i modelli allineati alla sicurezza
tipicamente rifiuteranno e la pipeline degraderà a output vuoti / non analizzabili.
I seguenti modelli hanno funzionato bene per i ruoli red-team:
| Modello | Ruolo/i adatti | Note |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | Un derivato Qwen3 della community. vllm_client.py disabilita automaticamente la modalità thinking di Qwen3 quando rileva questo nome di modello. |
| Qwen2.5-72B-Instruct | generator | Allineato, ma tipicamente collabora comunque nella produzione di contesti non sicuri fabbricati. |
Modelli che rifiutano frequentemente (non usarli come generator o wizard):
Se preferisci verificare l'intera pipeline end-to-end prima di eseguire una run reale,
tools/run_real_smoke.sh è un wrapper one-shot che scrive una configurazione minima (3
domande × 1 strategia × 1 gen × 2 round), esegue tutti e 6 gli stadi con diffusione SD3.5
reale e stampa alla fine il conteggio dei file per stadio + l'ASR. Tutti i percorsi sono
sovrascrivibili tramite variabili d'ambiente:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
Aumenta le variabili d'ambiente INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS
per scalare fino all'esecuzione completa fedele al paper.