모델 깊이에 따른 탈옥

조기 종료(early exit)는 언어 모델의 탈옥 취약성을 어떻게 변화시키는가? 우리는 HarmBench와 AdvBench를 사용하여 Balcony-LLaMA2-7B와 Balcony-LLaMA3-8B에 대한 GCG 공격을 레이어 15, 18, 21, 그리고 전체 깊이(32)에서 연구한다.

TAO는 실험적 코드와 함께 계획된 확장이다. 이전의 1B 실행은 개발 테스트였으며, 둘 다 이 연구에 결과를 기여하지 않는다.

결과

벤치마크당 50개 행동에 대해 150 스텝 동안 GCG를 실행했으며, 단일 NVIDIA RTX PRO 6000 Blackwell GPU에서 수행했다. 아래의 그림과 표는 보고된 결과의 진실의 원천인 논문에서 직접 가져온 것이다.

레이어 15, 18, 21, 그리고 전체 깊이에서의 조기 종료를 포함한 평가 파이프라인.

HarmBench와 AdvBench에서 7B 및 8B 모델의 종료 깊이별 GCG 공격 성공률.

손실 곡선 및 공격 성공 대비 손실

모델, 벤치마크, 종료 깊이별 150 스텝 동안의 GCG 손실.

HarmBench에서의 최종 GCG 손실 대 공격 성공률.

논문 표

모델 구성 (표 1).

여섯 개 벤치마크 전반의 클린 유틸리티 (표 2).

각 종료의 가장 강력한 GCG 접미사를 적용한 유틸리티 (표 3).

실행

Linux, Python 3.12, NVIDIA GPU, 그리고 CUDA 12.8과 호환되는 드라이버가 필요하다. 저장소 루트에서 환경을 설치하고 작은 GCG 실행을 시작한다:

bash scripts/setup.sh
.venv/bin/python scripts/run.py experiment --model 7b --stage gcg \
  --benchmarks harmbench --n-behaviors 2 --num-steps 5 --results-dir results/runs/pilot

설정은 서브모듈을 초기화하고, 툴킷 패치를 적용하며, .venv/를 설치한다. 게이트된 체크포인트의 경우, 해당 Hugging Face 라이선스를 수락하고 .venv/bin/hf auth login을 실행한다.

모든 종료에서 GCG, 판정, 그리고 유틸리티 평가를 수행하려면:

.venv/bin/python scripts/run.py experiment --model 7b

--model 7b 또는 --model 8b를 선택한다. 새로운 출력은 results/runs/<model>/에 로컬로 유지된다. 모델을 로드하지 않고 명령을 검사하려면 --dry-run을 사용한다. 명령 참조.

저장소

경로	내용
`adapter/`	조기 종료 모델 코드 및 래퍼
`experiments/`	공격, 평가, 분석 구현
`scripts/`	설정 및 공유 러너
`results/`	논문 그림 및 표, 과거 아카이브, 로컬 실행
`third_party/`	고정된 의존성 및 라이선스 고지

원시 아카이브와 이전 내보내기는 논문과 동기화되지 않는다. 채팅 템플릿이 있는 7B 실행과 없는 실행은 분리하여 유지한다.

의존성은 .gitmodules에 고정되어 있으며, 툴킷 수정 사항은 patches/에 있다.

balcony-jailbreaking

인기

모델 깊이에 따른 탈옥

결과

실행

저장소