Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
Visco-Attack — 멀티모달 LLM을 대상으로 시각적 맥락 탈옥(jailbreak)을 구현하는 연구 파이프라인: T2I 프롬프트 추출, SD3.5 이미지 렌더링, 다중 라운드 스푸핑 맥락 구성, GPT-4o가 판정하는 ASR 평가. | Kitploit
도구/GitHubGitHub/dtc7w3pq/visco-attack
Machine LearningPapers & ResearchRed TeamingAI SecurityAdversarial Attack
GitHubdtc7w3pq/visco-attack

Visco-Attack

멀티모달 LLM을 대상으로 시각적 맥락 탈옥(jailbreak)을 구현하는 연구 파이프라인: T2I 프롬프트 추출, SD3.5 이미지 렌더링, 다중 라운드 스푸핑 맥락 구성, GPT-4o가 판정하는 ASR 평가.

저장소 보기
3117개월 전Kitploit 검토 완료
공유

시각적 맥락 공격: 이미지 기반 맥락 주입으로 MLLM 탈옥하기

Paper Data HF Downloads GitHub Stars

VisCo-Attack Original은 시각 중심의 공격 패러다임을 개척하고 다중 턴 대화 전반에 걸쳐 여러 이미지를 활용합니다. 맞춤형 맥락 조작 전략은 선도적인 MLLM에 대해 현저히 높은 공격 성공률을 달성하여, 현재까지 MLLM에 대한 가장 강력한 탈옥 방법 중 하나로 자리매김하고 있습니다.

저희 연구에 관심이 있으시다면 프로젝트에 ⭐를 눌러주세요, 감사합니다 💕

⚠️ 경고: 이 저장소에는 연구 및 안전 목적으로만 사용하도록 의도된 적대적 프롬프트 기법이 포함되어 있습니다.

📝 개요

VisCo-Attack은 논문 "Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection"에서 소개된 시각적 맥락 탈옥 프레임워크입니다. VisCo-Attack은 이미지를 단순한 트리거로 취급하는 대신, 시각적 입력이 유해한 시나리오에 필수적인 현실적이고 조작된 다중 턴 대화 맥락을 구축합니다. 이 프레임워크는 네 가지 이미지 중심 전략—이미지 기반 시나리오 시뮬레이션(VS), 다중 관점 분석(VM), 반복 질의(VI), 환각 악용(VH)—으로 해당 맥락을 자동으로 엮어낸 뒤, 독성 난독화와 의미 정제를 수행하여 단일 공격 프롬프트를 생성합니다. 완전한 블랙박스 설정에서 이 프롬프트는 GPT-4o, Gemini 2.0 flash, InternVL-2.5와 같은 최첨단 MLLM을 안정적으로 무력화하며, MM-SafetyBench, FigStep-SafeBench, HarmBench에서 공격 성공률을 85 – 91 %까지 끌어올리는 동시에 독성 점수를 4.7 / 5 이상으로 유지합니다.

Visco-Attack Method Illustration

그림: 시각적 맥락 공격(Visco-Attack) 방법 개요.

🚀 소식

  • [2025/7/3] MM-SafetyBench에 대한 네 가지 전략의 공격 맥락을 공개했습니다. 이제 Hugging Face에서 이용할 수 있습니다. 코드는 논문이 채택되면 공개될 예정입니다.
  • [2025/7/4] 논문이 이제 arXiv에서 이용 가능합니다: https://arxiv.org/abs/2507.02844.
  • [2025/7/19] 재정렬된 각 MM-SafetyBench 샘플에 대해 SD + 타이포그래피 이미지를 제공했습니다 (SD 이미지가 위, 키워드가 아래). 기준선 재현에만 사용되며, 저희 공격 방법의 일부가 아닙니다.
  • [2025/8/14] Hugging Face 데이터셋 다운로드 수가 10,000을 돌파했습니다 🎉🎉🎉! 지원해 주셔서 감사합니다!
  • [2025/8/21] VisCo Attack이 EMNLP 2025 메인 컨퍼런스에 채택되었습니다! 코드는 곧 공개될 예정입니다~
  • [코드 공개] 엔드투엔드 파이프라인 (T2I 프롬프트 추출 → SD3.5 → 4전략 다중 라운드 스푸핑 구성 → 대상 공격 → GPT-4o 판정)이 이제 이 저장소에 있습니다. 아래 빠른 시작을 참조하세요.

⚡ 빠른 시작

# 1. Install
pip install -r requirements.txt

# 2. Configure endpoints
#    Edit configs/default.yaml — fill in vLLM base_urls for the four roles:
#      models.generator   data-generation LLM
#      models.wizard      Wizard-Vicuna-Uncensored (or any unaligned LLM)
#      models.target      the target MLLM you want to attack
#      models.judge       judge LLM (paper used GPT-4o)
#    Smoke test: pointing all four at the same endpoint works fine.

# 3. Build a question file (or use the 3-question example)
python data/extract_questions.py \
    --input  /path/to/your/MMSafetyBench.json \
    --output data/mmsafebench_questions.json

# 4. Run the full pipeline
./run.sh

# Or run a single stage at a time:
RUN_STAGE=1 ./run.sh   # extract T2I prompts
RUN_STAGE=2 ./run.sh   # render core images (uses torchrun + SD3.5)
RUN_STAGE=3 ./run.sh   # multi-round spoof context (4 strategies × N gens × 4 rounds)
RUN_STAGE=4 ./run.sh   # render any extra images requested by stage3
RUN_STAGE=5 ./run.sh   # attack the target MLLM
RUN_STAGE=6 ./run.sh   # GPT-4o-as-judge ASR

🤖 권장 레드팀 모델 (generator / wizard 역할용)

파이프라인에는 configs/default.yaml에 4개의 LLM 역할이 있습니다: generator, wizard, target, judge. **generator**와 wizard 역할이 실제 레드팀 작업(스푸핑 컨텍스트 구성, 가짜 성공 이어쓰기 생성)을 수행합니다. 이들은 prompts/*.md의 템플릿화된 레드팀 지시를 따를 의향이 있어야 합니다 — 안전 정렬된 모델은 일반적으로 거부하며 파이프라인은 빈 출력 / 파싱 불가능한 출력으로 성능이 저하됩니다.

다음 모델들은 레드팀 역할에 잘 작동했습니다:

모델적합한 역할비고
qwen-3.5-122B-uncensored-stxtgenerator + wizard커뮤니티 Qwen3 파생 모델. vllm_client.py는 이 모델 이름을 감지하면 Qwen3 사고 모드를 자동으로 비활성화합니다.
Qwen2.5-72B-Instructgenerator정렬되어 있지만, 일반적으로 조작된 안전하지 않은 컨텍스트 생성에는 여전히 협조합니다.

자주 거부하는 모델 (generator 또는 wizard로 사용하지 마세요):

  • GPT-4 / GPT-4o, Claude 3.5+ — 강한 정렬로 인해 템플릿화된 레드팀 프롬프트에 거부 응답을 반환합니다.
  • 추가 우회 없는 Llama-3-Instruct.

스모크 테스트 (질문 3개, 약 5분)

실제 실행 전에 전체 파이프라인을 엔드투엔드로 검증하고 싶다면, tools/run_real_smoke.sh는 작은 설정(질문 3개 × 전략 1개 × 생성 1개 × 라운드 2개)을 작성하고, 실제 SD3.5 디퓨전으로 6개 단계를 모두 실행하며, 마지막에 단계별 파일 개수 + ASR을 출력하는 원샷 래퍼입니다. 모든 경로는 환경 변수로 재정의할 수 있습니다:

SD_MODEL_PATH=/abs/path/to/stable-diffusion-3.5-large-turbo \
VLLM_URL=http://my-vllm-host:8000/v1 \
NUM_GPUS=N \
bash tools/run_real_smoke.sh

INPUT_QUESTIONS / STRATEGIES / GEN_PER_QUESTION / ROUNDS 환경 변수를 늘려 논문에 충실한 전체 실행으로 확장하세요.

🗺️ 파이프라인 개요

data/mmsafebench_questions.json
        │
        ▼  stage1  generator LLM + prompts/t2i_prompt_extractor.md
outputs/stage1_t2i_prompts.json
        │
        ▼  stage2  local SD3.5 (torchrun)
outputs/core_images/<category>/<qid>.png
outputs/stage2_core_images.json   ← manifest used by stage3
        │
        ▼  stage3  generator + wizard + refine, looped `rounds` times,
        │          run independently for each strategy ∈
        │          {scenario_simulation, multi_perspective,
        │           iterative_interrogation, image_hallucination}
outputs/spoof/<strategy>/<category>/<qid>_gen<k>.json
        │
        ▼  stage4  local SD3.5 — only fires for samples whose stage3 JSON
        │          requested extra images (most strategies do)
outputs/spoof/<strategy>/<category>/images/*.png   (paths rewritten in-place)
        │
        ▼  stage5  target MLLM (vLLM OpenAI-compat)
outputs/attack_results/<strategy>/<category>/<qid>_gen<k>.json
        │
        ▼  stage6  judge LLM (GPT-4o-as-judge)
outputs/eval/<strategy>/<category>/<qid>_gen<k>.json
outputs/eval/<strategy>_summary.json
outputs/eval/overall_summary.json   ← best-of-strategies ASR

3단계는 이 방법의 핵심입니다. 루프 내부에서 rounds번의 반복(기본값 4) 각각에 대해 다음을 실행합니다:

  1. wizard fill — Wizard-Vicuna-Uncensored에 스푸핑 라운드와 현재 공격 프롬프트를 가짜 대화로 입력합니다. 이 모델의 순응적인 응답은 wizard_response로 저장되며 "성공이란 어떤 모습인지"에 대한 참조 역할을 합니다.
  2. refine (마지막 wizard fill 이후에는 건너뜀) — 생성기 LLM에 원래의 유해한 질문, 스푸핑 라운드, 현재 공격 프롬프트, 그리고 wizard 참조가 주어집니다. 이 LLM은 drift_status(yes/no)와 revised_attack_prompt를 담은 JSON을 출력합니다. 재작성이 제공되면 공격 프롬프트를 제자리에서 대체하며, 이때 오래된 wizard_response는 삭제됩니다.

최초의 단일 생성은 또한 전략에 필요한 추가 이미지에 대한 T2I 스타일 설명을 한 번에 생성합니다(promptParts.image_path.description 필드 참조). Stage4는 이를 받아 SD3.5로 렌더링합니다. 추가 이미지를 요청하지 않는 전략은 stage4를 그대로 통과합니다.

📁 Repo layout

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

아직 인기 데이터가 없습니다.

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →