
Forschungspipeline zur Umsetzung eines visuell-kontextuellen Jailbreaks gegen multimodale LLMs: T2I-Prompt-Extraktion, SD3.5-Bildrendering, mehrrundiger Aufbau von Spoof-Kontext und GPT-4o-bewertete ASR-Evaluierung.
VisCo-Attack Original begründet ein visionszentriertes Angriffsparadigma und nutzt mehrere Bilder über mehrrundige Dialoge hinweg; seine maßgeschneiderten Strategien zur Kontextfabrikation erzielen eine bemerkenswert hohe Erfolgsquote gegen führende MLLMs und positionieren es als eine der stärksten Jailbreak-Methoden für MLLMs bis heute.
Wenn Sie an unserer Arbeit interessiert sind, geben Sie uns bitte einen Stern ⭐ für unser Projekt, danke 💕
⚠️ WARNUNG: Dieses Repository enthält adversariale Prompt-Techniken, die ausschließlich für Forschungs- und Sicherheitszwecke bestimmt sind.
VisCo-Attack ist unser visuell-kontextuelles Jailbreak-Framework, das im Paper „Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection“ vorgestellt wird. Anstatt ein Bild lediglich als Auslöser zu behandeln, konstruiert VisCo-Attack einen realistischen, fabrizierten mehrrundigen Dialogkontext, in dem der visuelle Input für das schädliche Szenario unerlässlich ist. Es verwebt diesen Kontext automatisch mit vier bildzentrierten Strategien – Image-Grounded Scenario Simulation (VS), Multi-Perspective Analysis (VM), Iterative Interrogation (VI) und Hallucination Exploitation (VH) – und führt anschließend eine Toxizitätsverschleierung und semantische Verfeinerung durch, um einen einzigen Angriffs-Prompt zu erzeugen. Unter einer vollständig Black-Box-Bedingung durchbricht dieser Prompt zuverlässig modernste MLLMs wie GPT-4o, Gemini 2.0 flash und InternVL-2.5 und treibt die Erfolgsquote auf 85 – 91 % auf MM-SafetyBench, FigStep-SafeBench und HarmBench, während die Toxizitätswerte über 4,7 / 5 bleiben.
Abbildung: Überblick über die Methode des Visual Contextual Attack (Visco-Attack).
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard)Die Pipeline hat 4 LLM-Rollen in configs/default.yaml:
generator, wizard, target, judge. Die Rollen generator und wizard
erledigen die eigentliche Red-Team-Arbeit (Konstruktion von Spoof-Kontexten, Erzeugung
von Fake-Success-Fortsetzungen). Sie müssen bereit sein, den templatierten
Red-Team-Anweisungen in prompts/*.md zu folgen — safety-aligned Modelle werden
typischerweise ablehnen und die Pipeline wird auf leere / nicht parsebare
Ausgaben degradieren.
Die folgenden Modelle funktionierten gut für die Red-Team-Rollen:
| Modell | Geeignete Rolle(n) | Hinweise |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | Ein Community-Derivat von Qwen3. vllm_client.py deaktiviert den Qwen3-Thinking-Modus automatisch, wenn es diesen Modellnamen erkennt. |
| Qwen2.5-72B-Instruct | generator | Aligned, kooperiert aber typischerweise dennoch bei der Erzeugung fabrizierter unsicherer Kontexte. |
Modelle, die häufig ablehnen (verwende sie nicht als generator oder wizard):
Wenn du lieber die gesamte Pipeline Ende-zu-Ende verifizieren möchtest, bevor du einen echten Lauf durchführst,
ist tools/run_real_smoke.sh ein One-Shot-Wrapper, der eine winzige Konfiguration schreibt (3
Fragen × 1 Strategie × 1 Gen × 2 Runden), alle 6 Stufen mit echter SD3.5-
Diffusion ausführt und am Ende Dateianzahlen pro Stufe + ASR ausgibt. Alle Pfade sind
über Umgebungsvariablen überschreibbar:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
Erhöhen Sie die Umgebungsvariablen INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS,
um bis zum vollständigen, originalgetreuen Durchlauf hochzuskalieren.