
मल्टीमॉडल LLM के विरुद्ध विज़ुअल-कॉन्टेक्स्चुअल जेलब्रेक लागू करने वाली रिसर्च पाइपलाइन: T2I प्रॉम्प्ट एक्सट्रैक्शन, SD3.5 इमेज रेंडरिंग, मल्टी-राउंड स्पूफ कॉन्टेक्स्ट निर्माण, और GPT-4o-निर्णीत ASR मूल्यांकन।
VisCo-Attack Original एक दृष्टि-केंद्रित आक्रमण प्रतिमान का अग्रणी है और बहु-चरणीय संवादों में कई छवियों का लाभ उठाता है; इसकी विशेष संदर्भ-निर्माण रणनीतियाँ अग्रणी MLLMs के विरुद्ध उल्लेखनीय रूप से उच्च आक्रमण-सफलता दर प्रदान करती हैं, जिससे यह आज तक MLLMs के लिए सबसे शक्तिशाली जेलब्रेक विधियों में से एक बन जाता है।
यदि आप हमारे काम में रुचि रखते हैं, तो कृपया हमारे प्रोजेक्ट को स्टार ⭐ करें, धन्यवाद 💕
⚠️ चेतावनी: इस रेपो में प्रतिकूल प्रॉम्प्ट तकनीकें हैं जो केवल अनुसंधान और सुरक्षा उद्देश्यों के लिए हैं।
VisCo-Attack हमारा दृश्य-प्रासंगिक जेलब्रेक फ्रेमवर्क है जिसे “Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection” पेपर में प्रस्तुत किया गया है। एक छवि को केवल एक ट्रिगर मानने के बजाय, VisCo-Attack एक यथार्थवादी, काल्पनिक बहु-चरणीय संवाद संदर्भ का निर्माण करता है जिसमें दृश्य इनपुट हानिकारक परिदृश्य के लिए आवश्यक होता है। यह स्वचालित रूप से उस संदर्भ को चार छवि-केंद्रित रणनीतियों—Image-Grounded Scenario Simulation (VS), Multi-Perspective Analysis (VM), Iterative Interrogation (VI), और Hallucination Exploitation (VH)—के साथ बुनता है, फिर एकल आक्रमण प्रॉम्प्ट उत्पन्न करने के लिए विषाक्तता अस्पष्टीकरण और अर्थपूर्ण परिष्करण करता है। पूर्णतः ब्लैक-बॉक्स सेटिंग में, यह प्रॉम्प्ट GPT-4o, Gemini 2.0 flash, और InternVL-2.5 जैसे अत्याधुनिक MLLMs को विश्वसनीय रूप से तोड़ता है, जिससे MM-SafetyBench, FigStep-SafeBench, और HarmBench पर आक्रमण-सफलता दर 85 – 91 % तक पहुँच जाती है, जबकि विषाक्तता स्कोर 4.7 / 5 से ऊपर बना रहता है।
चित्र: Visual Contextual Attack (Visco-Attack) विधि का अवलोकन।
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard भूमिकाओं के लिए)पाइपलाइन में configs/default.yaml में 4 LLM भूमिकाएँ हैं:
generator, wizard, target, judge। generator और wizard
भूमिकाएँ वास्तविक रेड-टीम कार्य करती हैं (स्पूफ संदर्भों का निर्माण, नकली-सफलता
की निरंतरता उत्पन्न करना)। उन्हें prompts/*.md में दिए गए टेम्पलेटेड
रेड-टीम निर्देशों का पालन करने के लिए तैयार होना चाहिए — सुरक्षा-संरेखित मॉडल
आमतौर पर मना कर देंगे और पाइपलाइन खाली / अपार्सेबल
आउटपुट तक गिर जाएगी।
निम्नलिखित मॉडल रेड-टीम भूमिकाओं के लिए अच्छी तरह काम करते हैं:
| मॉडल | उपयुक्त भूमिका(एँ) | टिप्पणियाँ |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | एक कम्युनिटी Qwen3-व्युत्पन्न। vllm_client.py इस मॉडल का नाम देखते ही Qwen3 थिंकिंग मोड को स्वतः अक्षम कर देता है। |
| Qwen2.5-72B-Instruct | generator | संरेखित, लेकिन नकली असुरक्षित संदर्भों को उत्पन्न करने में आमतौर पर अभी भी सहयोग करता है। |
वे मॉडल जो अक्सर मना करते हैं (उन्हें generator या wizard के रूप में उपयोग न करें):
यदि आप वास्तविक रन करने से पहले पूरी पाइपलाइन को एंड-टू-एंड सत्यापित करना
चाहते हैं, तो tools/run_real_smoke.sh एक वन-शॉट रैपर है जो एक छोटा कॉन्फ़िग
लिखता है (3 प्रश्न × 1 रणनीति × 1 जन × 2 राउंड), वास्तविक SD3.5
डिफ्यूज़न के साथ सभी 6 चरण चलाता है, और अंत में प्रति-चरण फ़ाइल गणना + ASR प्रिंट करता है। सभी पथ
env वेरिएबल्स के माध्यम से ओवरराइड करने योग्य हैं:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS env वेरिएबल्स को बढ़ाकर पूर्ण पेपर-अनुरूप रन तक स्केल करें।