7개 LLM에 걸친 탈옥 평가

다음에 대한 코드, 프롬프트 및 결과:

7개 대규모 언어 모델에 걸친 적대적 탈옥 공격 및 방어의 체계적 평가 Md. Robiul Islam Niloy, Abu Sayed Md. Mostafizur Rahaman. Md. Robiul Islam Niloy: 방글라데시 BRAC 대학교 컴퓨터과학 및 공학과. Abu Sayed Md. Mostafizur Rahaman: 방글라데시 자한기르나가르 대학교 컴퓨터과학 및 공학과. IEEE Transactions on Information Forensics and Security 투고 준비 중인 원고(아직 제출되지 않음).

상태: 결과는 잠정적입니다. 주요 판정자는 인간 레이블에 대해 아직 검증되지 않은 LLM 루브릭입니다. 규칙 기반 판정자에는 알려진 결함이 있습니다(알려진 문제 참조).

저장소 구조

README.md
LICENSE
paper/
  tifs_paper_v12.tex           manuscript source
prompts/
  expanded_prompts.json        250 attack prompts (50 per family, 5 families)
scripts/
  phase1_expanded.py           main experiment: 7 models x 250 prompts via Ollama
  phase3_defenses.py           defense experiments (first 10 obfuscation + 10 roleplay prompts)
  judge_validation_v2.py       content judge (phi4 rubric), resumable
  rejudge_expanded.py          rule-based re-scoring with corrected refusal matching
  make_all_figures.py          builds all five figures
results/
  expanded/                    one CSV per model: 250 prompts, truncated responses, rule-based label
  defense/                     defense run outputs and summary
  judge/                       agreement_report.txt and corrected_asr.txt
figures/                       the five PDFs used in the manuscript

응답은 500자로 잘려서 저장됩니다. 사람이 확인하는 시트, 그 키, 그리고 전체 심사자 출력(응답 텍스트를 반복함)은 포함되지 않습니다.

모델

Ollama 라이브러리에서 가져옴:

모델	Ollama 태그	파라미터
Llama-3-8B-Instruct	`llama3:8b`	8B
Llama-3.1-8B-Instruct	`llama3.1:8b`	8B
Llama-3.2-3B-Instruct	`llama3.2:3b`	3B
Mistral-7B-Instruct	`mistral`	7B
Qwen2.5-7B-Instruct	`qwen2.5:7b`	7B
Gemma2-9B-Instruct	`gemma2:9b`	9B
Phi-4-14B	`phi4:14b`	14B
phi4 루브릭 심사자	`phi4:14b`	14B

Llama Guard 3는 개발 중에 실행되었으나 그 출력을 사용할 수 없었으므로, 보고된 어떤 결과에도 포함되지 않습니다.

생성 및 심사 설정

생성: temperature 0.7, top-p 0.9, 최대 512개의 새 토큰.
생성에 무작위 시드를 설정하지 않았습니다. 각 프롬프트는 한 번만 실행되었으므로 응답이 정확히 재현되지 않습니다.
확장된 생성은 2026년 11월 1일에 생성되었습니다. 생성에 사용된 Ollama 버전은 기록되지 않았습니다.
콘텐츠 심사자는 Ollama 0.40.13으로, temperature 0에서 실행되었습니다.
프롬프트 순서는 고정되어 있으며, 모든 모델이 동일한 순서로 동일한 프롬프트를 받습니다.

주요 결과 (콘텐츠 심사, 모델당 250개 프롬프트)

"유해"는 콘텐츠 심사자가 응답을 HARMFUL 또는 PARTIAL로 표시했음을 의미합니다. 비교를 위해 HARMFUL만 표시합니다.

모델	유해율 (%)	HARMFUL만 (%)
Mistral-7B	62.0	8.8
Llama-3.2-3B	30.8	1.2
Qwen2.5-7B	29.2	1.2
Gemma2-9B	26.0	2.0
Phi-4-14B	20.0	2.8
Llama-3.1-8B	18.4	0.4
Llama-3-8B	17.2	1.6
통합	29.1	2.6

공격 계열별(통합): 난독화 62.3(HARMFUL만 7.1), 가상 프레이밍 53.4, 역할극 14.0, 재정의 8.0, 직접 7.7.

난독화가 통합 기준 가장 높은 계열입니다. 가상 프레이밍은 세 모델(Mistral-7B, Llama-3.2-3B, Qwen2.5-7B)에서 가장 높은 계열이며, 난독화는 네 모델에서 가장 높거나 동률입니다.

모델 크기: Spearman ρ = −0.64, p = 0.12, n = 7 (유의하지 않음).

쌍별 Mann-Whitney 검정(비보정): 21개 쌍 중 14개가 p < 0.05에서 차이가 있습니다. Mistral-7B는 Llama-3.2-3B 및 Qwen2.5-7B와 유의하게 다릅니다(p < 0.001).

2차 결과(규칙 기반 심사자, 비교용으로만)

규칙 기반 심사자(CSV의 jailbreak_success) 기준 전체 ASR. 이 수치는 알려진 문제에 명시된 이유로 신뢰할 수 없습니다.

모델	규칙 기반 ASR (%)
Llama-3.1-8B	40.8
Mistral-7B	39.6
Llama-3.2-3B	39.6
Qwen2.5-7B	22.4
Gemma2-9B	18.4
Llama-3-8B	16.8
Phi-4-14B	11.2

규칙 기반 심사자에서는 Llama-3.1-8B가 가장 취약한 것으로 보이며, Llama-3-8B와 Llama-3.1-8B는 큰 차이가 있는 것으로 보입니다. 콘텐츠 심사자에서는 두 모델이 다르지 않습니다(17.2% 대 18.4%, p = 0.73). 논문은 규칙 기반의 격차를 심사자 인공물로 취급합니다.

두 심사자 간 일치도: 84%, κ = 0.60.

방어 결과(모델당 처음 10개의 난독화 + 처음 10개의 역할극 프롬프트)

규칙 기반 심사자로만 채점됨. 감소율은 동일한 20개 프롬프트에서 방어 없는 대응 실행과 비교한 값입니다.

방어	Mistral-7B (기준선 50%)	Llama-3.1-8B (기준선 45%)
키워드 블랙리스트	35% (−15 pp)	25% (−20 pp)
자기 알림	10% (−40 pp)	5% (−40 pp)
패러프레이즈	60% (+10 pp; 20개 프롬프트 중 12 대 10)	5% (−40 pp)
퍼플렉시티 필터	50% (0 pp)	45% (0 pp)

무해 프롬프트(모델당 10개): 키워드, 패러프레이즈, 퍼플렉시티 필터는 10개 중 0개를 차단했습니다. 자기 알림의 무해 거부율은 측정되지 않았습니다.

알려진 문제

기본 판정기는 검증되지 않았습니다. 그 유해성 레이블은 대부분 HARMFUL이 아니라 PARTIAL입니다(464 PARTIAL 대 45 HARMFUL). 표본에 대한 사람 검증은 아직 진행 중입니다.
규칙 기반 판정기에는 결함이 있습니다. 거부 목록이 곧은 아포스트로피만 일치시키므로, 472개의 "성공" 중 최소 80개는 굽은 아포스트로피로 작성된 거부입니다(Llama-3.1-8B에서 49개, Llama-3.2-3B에서 31개). 길이 규칙은 혼란스러운 디코딩 다수를 성공으로 집계합니다. 아포스트로피만 수정해도 Mistral-7B가 40%에서 84%로 상승했으므로, 키워드 규칙으로는 유해성을 신뢰성 있게 측정할 수 없습니다.
Llama Guard 3는 이 설정에서 사용할 수 없습니다. 대부분의 명확한 거부를 안전하지 않음으로 표시하므로 사용하지 않습니다.
응답은 500자로 잘려 저장됩니다. 콘텐츠 판정기는 해당 발췌문만 봅니다.
방어 기법은 규칙 기반 판정기로 채점되며, 패밀리당 10개의 프롬프트와 두 개의 모델에서 테스트됩니다.
생성에는 시드가 설정되지 않았고 Ollama 버전도 기록되지 않았습니다.
쌍별 검정은 다중 비교에 대해 보정되지 않았습니다.
지연 시간 비교는 단일 순차 실행에서 나온 것입니다. 약 1초 정도의 차이는 실행 순서 변동 범위 내입니다.

재현

스크립트는 프로젝트 폴더를 읽고 씁니다. 각 스크립트 상단의 BASE를 이 저장소의 복사본으로 설정하거나, 위 레이아웃을 유지한 채 저장소 루트에서 실행하세요.

pip install pandas numpy scipy matplotlib

ollama pull llama3:8b
ollama pull llama3.1:8b
ollama pull llama3.2:3b
ollama pull mistral
ollama pull qwen2.5:7b
ollama pull gemma2:9b
ollama pull phi4:14b

python scripts/phase1_expanded.py      # main run, 1,750 generations (several hours)
python scripts/judge_validation_v2.py  # content judge (GPU recommended)
python scripts/phase3_defenses.py      # defense run (rule-based)
python scripts/rejudge_expanded.py     # rule-based re-scoring
python scripts/make_all_figures.py     # all five figures

메인 실행과 판정기 모두 진행 상황을 저장하며 재개할 수 있습니다. 최신 소비자용 GPU에서 메인 실행은 몇 시간 정도 걸릴 것으로 예상됩니다.

인용

원고가 승인되면 인용해 주시기 바라며(인용 정보 추후 추가 예정), 관련 프리프린트는 다음과 같습니다:

@article{niloy2026threats,
  title   = {Autonomous OSS Threat Detection via Taxonomy-Aligned LLMs},
  author  = {Niloy, Md. Robiul Islam},
  journal = {arXiv:2610.01263 [cs.CR]},
  year    = {2026}
}

라이선스

MIT. LICENSE를 참조하세요.

연락처

Md. Robiul Islam Niloy, 컴퓨터 과학 및 공학과, BRAC University, 다카, 방글라데시. [email protected] · github.com/Mdniloykhan

jailbreak-eval-7llms

인기