
4비트 양자화는 채팅 모델의 안전 행동에 노이즈 이상의 영향을 미치는가? 코드, 사전 등록 및 레이블.
동일 크기 교란으로 행동 변화를 귀속하기
소형 채팅 모델의 거부 반응이 4비트 양자화로 어떻게 달라지는지에 대한 사전 등록 감사(audit)를 위한 코드와 분석으로, 변화가 양자화에서 비롯된 것인지 아니면 같은 크기의 임의 교란에서도 나타날 것인지를 묻는 대조군을 포함한다.
논문: arXiv:2611.22186
휴대폰과 노트북에서 실행되는 채팅 모델은 보통 안전성 평가를 거친 모델의 4비트 사본이다. 이러한 사본에 대한 감사 결과는 서로 엇갈린다. 어떤 감사는 양자화가 거부를 약화시킨다고 보고하고, 어떤 감사는 그렇지 않다고 하며, 어떤 감사는 모델이 더 많이 거부한다고 본다. 4비트 빌드는 모든 가중치에 가해진 하나의 특정 교란일 뿐이며, 같은 크기의 다른 교란은 얼마든지 존재한다. 따라서 거부 반응의 변화는 반올림 오차의 구조에서 비롯된 것일 수도 있고, 그 정도 크기의 어떤 자극에도 반응하는 모델 자체의 성향에서 비롯된 것일 수도 있다.
우리는 세 개의 3-4B 채팅 모델(Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507)을 Apple Silicon용으로 MLX가 제공하는 round-to-nearest 형식으로 테스트한다. 모든 비교는 짝지어 이루어지며, 우도(likelihood)를 변화시키지 않는 8비트 빌드와 대조하여 해석한다. 요약하면 다음과 같다:
논문의 모든 문장 뒤에 있는 수치는 하나의 스크립트로 생성된다(논문 재현 참조).
| 경로 | 내용 |
|---|---|
PREREG.md | 사전 등록 문서와 다섯 개의 날짜별 부록으로, 각 부록은 해당 데이터보다 먼저 확정됨 |
qrefusal/ | 공용 코드: 고정된 템플릿 날짜를 사용하는 채팅 포맷팅, 그리디 및 샘플링 디코딩, 훅을 사용한 계층별 순전파(MLX에는 훅 API가 없음), 거부 방향, 짝지은 통계 |
runs/ | 실험당 하나의 스크립트; 각 스크립트는 results/<experiment>/에 기록함 |
analysis/make_numbers.py | 무결성 검사를 포함하여 원시 결과 파일로부터 논문의 모든 수치를 재생성함 |
analysis/figures.py | paper/numbers.json으로부터 그림을 그림 |
paper/ | LaTeX 소스; 수치는 분석이 생성한 매크로로만 본문에 들어감 |
scripts/ | 모델 변환, 데이터 가져오기, 실행 큐 |
tests/ | 훅이 적용된 순전파와 통계에 대한 항등성 테스트 |
| 논문 | 스크립트 | 수행 내용 |
|---|---|---|
| §3 설정 | scripts/convert.sh | 모델의 bf16, 8-bit, 4-bit(group 64 및 32), 혼합 4/6, MXFP4, AWQ 및 GPTQ 사본을 빌드 |
| §3 설정 | runs/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.py | 레이어별 거부 방향; abliterate된 bf16 사본; prefill에 사용되는 순응형 접두사 |
| §3 설정 | runs/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.py | 콘텐츠 판정기(Qwen2.5-14B), Llama Guard 3, 그리고 블라인드 2단계 인간 라벨링 시트 |
| §4 라벨 불안정성과 8-bit 널 | runs/e0_determinism.py, runs/a2_depth.py --temp | 그리디 재실행 동일성; 샘플링 시드 하한 |
| §5.1 강제 시작 | runs/a2_depth.py, runs/r1.py | Prefill 깊이 k = 0, 2, 8; 일반 접두사(--fixed_prefix); 길이 검사(--max_tokens 384 --sample 150) |
| §5.2 자유 시작 | runs/x2_sneaky.py | WildJailbreak 개발 및 홀드아웃 테스트 세트; SORRY-Bench |
| §6 두 가지 더 단순한 설명 | runs/x1_xstest.py, runs/c1_capability.py | XSTest 및 탈옥 스타일의 무해한 프롬프트에 대한 과잉 거부; 우도 및 가중치당 비트 수 |
| §7 매칭 교란 대조군 | runs/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.py | 검증 게이트를 갖춘 매칭 교란 및 스케일링 빌드; 행렬별 반올림 오차; llama.cpp 런타임 |
| §8 거부 방향 투영 | runs/m1_direction.py | bf16 거부 방향으로의 투영 |
| 부록 | runs/a1_prefill.py, runs/r5_runon.py | Prefill 파일럿; MXFP4 Qwen2.5에서의 턴 종료 실패 |
하드웨어: 메모리 16 GB를 갖춘 Apple Silicon Mac 한 대(당사는 M2 Pro를 사용). 전체 실행 세트는 수일의 머신 시간이 소요되며, 모델은 한 번에 하나씩 로드된다.
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
세 개의 프롬프트 세트를 저자로부터 받아 data/ 아래에 배치합니다:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvscripts/의 실행 큐는 이후 등록된 분석들에 대한 명령을 우리가 실행한 순서대로 제공합니다. 위 표는 나머지에 대한 스크립트를 제공합니다. 이들은 ml이라는 이름의 conda 환경을 요구하며, runs/g1_gguf.py는 ../tools/llama.cpp-src에 있는 llama.cpp (커밋 0ec4027)와 Homebrew llama-quantize를 요구합니다. 각 실험은 이미 존재하는 출력을 건너뛰므로, 큐는 중지하고 다시 시작할 수 있습니다. 그런 다음:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
PREREG.md는 주 검정, 보조 계열, 인간 라벨 설계, 홀드아웃 자유 시작 검정, 그리고 대조군의 결정 규칙을 고정한다. 각 추가 문서는 날짜가 기재되어 있으며, 해당 데이터가 존재하기 전에 고정되었다. 논문의 부록에는 무엇이 언제 등록되었는지와 계획 변경 사항이 나열되어 있다. 날짜가 기재된 커밋은 비공개 개발 저장소에 있으며(해시 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa), 요청 시 제공된다. 이 저장소의 이력은 릴리스에서 시작한다. 비공개 계획 노트를 가리키던 세 문장이 PREREG.md에서 제거되었으며, 그 외에는 아무것도 변경되지 않았다.
공개: 코드, 사전 등록, 집계 결과(paper/numbers.{md,json}), 그리고 모든 judge, Llama Guard 및 인간 라벨이 프롬프트나 응답 텍스트 없이 labels/에 공개된다(analysis/export_labels.py로 작성됨). 행은 설정, 모델, 빌드 및 프롬프트 인덱스 i로 키가 지정된다. 여기서 i는 runs/가 로드하는 프롬프트 분할의 행 인덱스이다(x2/*의 경우 runs/x2_sneaky.py의 시드된 샘플). 공개되지 않음: 모델 응답으로, 강제 시작 하에 생성된 유해 콘텐츠를 포함한다. make_numbers.py는 이를 버전 관리에서 제외된 results/에서 읽는다. 이는 연구자에게 요청 시 제공된다.
코드: MIT(LICENSE). 라벨 및 논문 텍스트: CC BY 4.0. paper/tex/acl.sty 및 acl_natbib.bst는 자체 조건을 유지한다.
@article{kaya2026quantization,
title={Is 4-Bit Quantization More Than Noise to a Chat Model's Safety Behaviour? Attributing Behavioural Shifts with Matched Perturbations},
author={Kaya, Ege},
journal={arXiv preprint arXiv:2611.22186},
year={2026}
}