
Pipeline de recherche mettant en œuvre un jailbreak visuel-contextuel contre les LLM multimodaux : extraction de prompt T2I, rendu d'image SD3.5, construction d'un contexte usurpé sur plusieurs tours, et évaluation de l'ASR jugée par GPT-4o.
VisCo-Attack Original est pionnier d'un paradigme d'attaque centré sur la vision et exploite plusieurs images à travers des dialogues multi-tours ; ses stratégies sur mesure de fabrication de contexte offrent un taux de réussite d'attaque remarquablement élevé contre les principaux MLLMs, ce qui en fait l'une des méthodes de jailbreak les plus puissantes pour les MLLMs à ce jour.
Si notre travail vous intéresse, veuillez mettre une étoile ⭐ à notre projet, merci 💕
⚠️ AVERTISSEMENT : Ce dépôt contient des techniques de prompts adversariaux destinées uniquement à la recherche et à des fins de sécurité.
VisCo-Attack est notre framework de jailbreak visuel-contextuel introduit dans l'article « Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection ». Au lieu de traiter une image comme un simple déclencheur, VisCo-Attack construit un contexte de dialogue multi-tours réaliste et fabriqué dans lequel l'entrée visuelle est essentielle au scénario nuisible. Il tisse automatiquement ce contexte avec quatre stratégies centrées sur l'image — Image-Grounded Scenario Simulation (VS), Multi-Perspective Analysis (VM), Iterative Interrogation (VI) et Hallucination Exploitation (VH) — puis effectue une obfuscation de la toxicité et un raffinement sémantique pour produire un unique prompt d'attaque. Dans un cadre entièrement en boîte noire, ce prompt casse de manière fiable des MLLMs de pointe tels que GPT-4o, Gemini 2.0 flash et InternVL-2.5, portant le taux de réussite de l'attaque à 85 – 91 % sur MM-SafetyBench, FigStep-SafeBench et HarmBench tout en maintenant des scores de toxicité supérieurs à 4,7 / 5.
Figure : Aperçu de la méthode Visual Contextual Attack (Visco-Attack).
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard)Le pipeline comporte 4 rôles LLM dans configs/default.yaml :
generator, wizard, target, judge. Les rôles generator et wizard
effectuent le véritable travail red-team (construction de contextes usurpés, production
de continuations de fausse réussite). Ils doivent être disposés à suivre les instructions
red-team modélisées dans prompts/*.md — les modèles alignés sur la sécurité refuseront
généralement et le pipeline se dégradera en sorties vides / non analysables.
Les modèles suivants ont bien fonctionné pour les rôles red-team :
| Modèle | Rôle(s) adapté(s) | Remarques |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | Un dérivé communautaire de Qwen3. vllm_client.py désactive automatiquement le mode réflexion de Qwen3 lorsqu'il détecte ce nom de modèle. |
| Qwen2.5-72B-Instruct | generator | Aligné, mais coopère généralement encore pour produire des contextes non sûrs fabriqués. |
Modèles qui refusent fréquemment (ne les utilisez pas comme generator ou wizard) :
Si vous préférez vérifier l'ensemble du pipeline de bout en bout avant de lancer une exécution réelle,
tools/run_real_smoke.sh est un wrapper en une seule commande qui écrit une configuration minimale (3
questions × 1 stratégie × 1 gen × 2 tours), exécute les 6 étapes avec la diffusion SD3.5 réelle,
et affiche à la fin le nombre de fichiers par étape + l'ASR. Tous les chemins sont
surchargeables via des variables d'environnement :
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
Augmentez les variables d'environnement INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS
pour passer à l'échelle de l'exécution complète fidèle à l'article.