
멀티모달 LLM을 대상으로 시각적 맥락 탈옥(jailbreak)을 구현하는 연구 파이프라인: T2I 프롬프트 추출, SD3.5 이미지 렌더링, 다중 라운드 스푸핑 맥락 구성, GPT-4o가 판정하는 ASR 평가.
VisCo-Attack Original은 시각 중심의 공격 패러다임을 개척하고 다중 턴 대화 전반에 걸쳐 여러 이미지를 활용합니다. 맞춤형 맥락 조작 전략은 선도적인 MLLM에 대해 현저히 높은 공격 성공률을 달성하여, 현재까지 MLLM에 대한 가장 강력한 탈옥 방법 중 하나로 자리매김하고 있습니다.
저희 연구에 관심이 있으시다면 프로젝트에 ⭐를 눌러주세요, 감사합니다 💕
⚠️ 경고: 이 저장소에는 연구 및 안전 목적으로만 사용하도록 의도된 적대적 프롬프트 기법이 포함되어 있습니다.
VisCo-Attack은 논문 "Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection"에서 소개된 시각적 맥락 탈옥 프레임워크입니다. VisCo-Attack은 이미지를 단순한 트리거로 취급하는 대신, 시각적 입력이 유해한 시나리오에 필수적인 현실적이고 조작된 다중 턴 대화 맥락을 구축합니다. 이 프레임워크는 네 가지 이미지 중심 전략—이미지 기반 시나리오 시뮬레이션(VS), 다중 관점 분석(VM), 반복 질의(VI), 환각 악용(VH)—으로 해당 맥락을 자동으로 엮어낸 뒤, 독성 난독화와 의미 정제를 수행하여 단일 공격 프롬프트를 생성합니다. 완전한 블랙박스 설정에서 이 프롬프트는 GPT-4o, Gemini 2.0 flash, InternVL-2.5와 같은 최첨단 MLLM을 안정적으로 무력화하며, MM-SafetyBench, FigStep-SafeBench, HarmBench에서 공격 성공률을 85 – 91 %까지 끌어올리는 동시에 독성 점수를 4.7 / 5 이상으로 유지합니다.
그림: 시각적 맥락 공격(Visco-Attack) 방법 개요.
# 1. Install
pip install -r requirements.txt
# 2. Configure endpoints
# Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
# models.generator data-generation LLM
# models.wizard Wizard-Vicuna-Uncensored (or any unaligned LLM)
# models.target the target MLLM you want to attack
# models.judge judge LLM (paper used GPT-4o)
# Smoke test: pointing all four at the same endpoint works fine.
# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
--input /path/to/your/MMSafetyBench.json \
--output data/mmsafebench_questions.json
# 4. Run the full pipeline
./run.sh
# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh # extract T2I prompts
RUN_STAGE=2 ./run.sh # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh # attack the target MLLM
RUN_STAGE=6 ./run.sh # GPT-4o-as-judge ASR
generator / wizard 역할용)파이프라인에는 configs/default.yaml에 4개의 LLM 역할이 있습니다:
generator, wizard, target, judge. **generator**와 wizard
역할이 실제 레드팀 작업(스푸핑 컨텍스트 구성, 가짜 성공 이어쓰기 생성)을
수행합니다. 이들은 prompts/*.md의 템플릿화된 레드팀 지시를 따를 의향이
있어야 합니다 — 안전 정렬된 모델은 일반적으로 거부하며 파이프라인은
빈 출력 / 파싱 불가능한 출력으로 성능이 저하됩니다.
다음 모델들은 레드팀 역할에 잘 작동했습니다:
| 모델 | 적합한 역할 | 비고 |
|---|---|---|
| qwen-3.5-122B-uncensored-stxt | generator + wizard | 커뮤니티 Qwen3 파생 모델. vllm_client.py는 이 모델 이름을 감지하면 Qwen3 사고 모드를 자동으로 비활성화합니다. |
| Qwen2.5-72B-Instruct | generator | 정렬되어 있지만, 일반적으로 조작된 안전하지 않은 컨텍스트 생성에는 여전히 협조합니다. |
자주 거부하는 모델 (generator 또는 wizard로 사용하지 마세요):
실제 실행 전에 전체 파이프라인을 엔드투엔드로 검증하고 싶다면,
tools/run_real_smoke.sh는 작은 설정(질문 3개 × 전략 1개 × 생성 1개 ×
라운드 2개)을 작성하고, 실제 SD3.5 디퓨전으로 6개 단계를 모두 실행하며,
마지막에 단계별 파일 개수 + ASR을 출력하는 원샷 래퍼입니다. 모든 경로는
환경 변수로 재정의할 수 있습니다:
SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh
INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS 환경 변수를 늘려
논문에 충실한 전체 실행으로 확장하세요.
data/mmsafebench_questions.json
│
▼ stage1 generator LLM + prompts/t2i_prompt_extractor.md
outputs/stage1_t2i_prompts.json
│
▼ stage2 local SD3.5 (torchrun)
outputs/core_images/<category>/<qid>.png
outputs/stage2_core_images.json ← manifest used by stage3
│
▼ stage3 generator + wizard + refine, looped `rounds` times,
│ run independently for each strategy ∈
│ {scenario_simulation, multi_perspective,
│ iterative_interrogation, image_hallucination}
outputs/spoof/<strategy>/<category>/<qid>_gen<k>.json
│
▼ stage4 local SD3.5 — only fires for samples whose stage3 JSON
│ requested extra images (most strategies do)
outputs/spoof/<strategy>/<category>/images/*.png (paths rewritten in-place)
│
▼ stage5 target MLLM (vLLM OpenAI-compat)
outputs/attack_results/<strategy>/<category>/<qid>_gen<k>.json
│
▼ stage6 judge LLM (GPT-4o-as-judge)
outputs/eval/<strategy>/<category>/<qid>_gen<k>.json
outputs/eval/<strategy>_summary.json
outputs/eval/overall_summary.json ← best-of-strategies ASR
3단계는 이 방법의 핵심입니다. 루프 내부에서 rounds번의 반복(기본값 4) 각각에 대해 다음을 실행합니다:
wizard_response로 저장되며 "성공이란 어떤 모습인지"에 대한 참조 역할을 합니다.drift_status(yes/no)와 revised_attack_prompt를 담은 JSON을 출력합니다. 재작성이 제공되면 공격 프롬프트를 제자리에서 대체하며, 이때 오래된 wizard_response는 삭제됩니다.최초의 단일 생성은 또한 전략에 필요한 추가 이미지에 대한 T2I 스타일 설명을 한 번에 생성합니다(promptParts.image_path.description 필드 참조). Stage4는 이를 받아 SD3.5로 렌더링합니다. 추가 이미지를 요청하지 않는 전략은 stage4를 그대로 통과합니다.