用匹配扰动归因行为变化
针对小型聊天模型的拒绝行为如何被 4 位量化改变所进行的预注册审计的代码与分析,并配有对照实验,用以判断变化究竟来自量化,还是来自任何同等大小的扰动。
在手机和笔记本电脑上运行的聊天模型,通常是经过安全评估的模型的 4 位副本。对此类副本的审计结果并不一致:有的发现量化削弱了拒绝行为,有的发现没有影响,还有的发现模型拒绝得更多。4 位构建是对每个权重的一种特定扰动,而同等大小的其他扰动还有很多。因此,其拒绝行为的变化可能来自舍入误差的结构,也可能来自模型自身在任意同等大小扰动下的倾向。
我们测试了三个 3-4B 聊天模型(Qwen2.5-3B-Instruct、Llama-3.2-3B-Instruct、Qwen3-4B-Instruct-2507),采用 MLX 为 Apple Silicon 提供的 round-to-nearest 格式。每次比较都是配对的,并以 8 位构建为参照,后者不会改变似然。简要来说:
论文中每句话背后的数字都由一个脚本生成(见复现论文)。
| 路径 | 内容 |
|---|---|
PREREG.md | 预注册文件及其五个带日期的附录,每个附录都在其所涉数据之前确定 |
qrefusal/ | 共享代码:使用固定模板日期的聊天格式化、贪心与采样解码、带钩子的逐层前向传播(MLX 没有钩子 API)、拒绝方向、配对统计 |
runs/ | 每个实验一个脚本;每个脚本写入 results/<experiment>/ |
analysis/make_numbers.py | 从原始结果文件重新生成论文中的每个数字,并带有完整性检查 |
analysis/figures.py | 从 paper/numbers.json 绘制图表 |
paper/ | LaTeX 源文件;数字仅以分析生成的宏形式进入正文 |
scripts/ | 模型转换、数据获取和运行队列 |
tests/ | 针对带钩子前向传播和统计的恒等性测试 |
| 论文 | 脚本 | 功能说明 |
|---|---|---|
| §3 设置 | scripts/convert.sh | 构建模型的 bf16、8-bit、4-bit(group 64 和 32)、混合 4/6、MXFP4、AWQ 和 GPTQ 副本 |
| §3 设置 | runs/r2.py、runs/e7_abliterate.py、runs/e7b_prefixes.py | 每层的拒绝方向;一个 abliterated bf16 副本;用于 prefill 的合规前缀 |
| §3 设置 | runs/r1b_judge.py、runs/j2_ensemble.py、runs/l2_pair_sheet.py | 内容评判器(Qwen2.5-14B)、Llama Guard 3,以及盲测两阶段人工标注表 |
| §4 标签不稳定性与 8-bit 零结果 | runs/e0_determinism.py、runs/a2_depth.py --temp | 贪心重跑一致性;采样种子下限 |
| §5.1 强制起始 | runs/a2_depth.py、runs/r1.py | Prefill 深度 k = 0、2、8;通用前缀(--fixed_prefix);长度检查(--max_tokens 384 --sample 150) |
| §5.2 自由起始 | runs/x2_sneaky.py | WildJailbreak 开发集与留出测试集;SORRY-Bench |
| §6 两种更简单的解释 | runs/x1_xstest.py、runs/c1_capability.py | 在 XSTest 和越狱风格的良性提示上的过度拒绝;似然与每权重比特数 |
| §7 匹配扰动对照 | runs/e2_perturb.py、runs/e2_errors.py、runs/g1_gguf.py | 带验证门控的匹配扰动与缩放构建;逐矩阵舍入误差;llama.cpp 运行时 |
| §8 拒绝方向投影 | runs/m1_direction.py | 投影到 bf16 拒绝方向 |
| 附录 | runs/a1_prefill.py、runs/r5_runon.py | prefill 试点;MXFP4 Qwen2.5 中的回合结束失败 |
硬件:一台配备 16 GB 内存的 Apple Silicon Mac(我们使用的是 M2 Pro)。完整运行集需要数天的机器时间;模型一次只加载一个。
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
从作者处获得三组提示词集,并放置在 data/ 下:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvscripts/ 中的运行队列按我们实际执行的顺序给出了后续已注册分析的命令;上表给出了其余部分的脚本。它们需要一个名为 ml 的 conda 环境,并且 runs/g1_gguf.py 需要位于 ../tools/llama.cpp-src 的 llama.cpp(提交 0ec4027)以及 Homebrew 的 llama-quantize。每个实验都会跳过已存在的输出,因此队列可以停止并重新启动。然后:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
PREREG.md 固定了主要检验、次要族、人工标注设计、留出的自由起始检验以及对照组的判定规则。每份附录均标注日期,且在其所涉数据存在之前就已固定。论文附录列出了何时注册了什么以及对计划的更改。带日期的提交位于一个私有开发仓库中(哈希 50d0225、2c53665、86c93e0、3e2ea52、02e72c5、09e49aa),可应请求提供;本仓库的历史从发布版本开始。PREREG.md 中指向私有规划笔记的三句话已被删除;除此之外未作任何更改。
已发布:代码、预注册、聚合结果(paper/numbers.{md,json})以及每个 judge、Llama Guard 和人工标注,不含提示或回复文本,位于 labels/(由 analysis/export_labels.py 生成)。行以设置、模型、构建和提示索引 i 为键:即 runs/ 所加载的提示划分的行索引(对于 x2/*,为 runs/x2_sneaky.py 中的种子样本)。未发布:模型回复,其中包含在强制起始下生成的有害内容;make_numbers.py 从 results/ 读取它们,而该目录被排除在版本控制之外。这些内容可应研究人员请求提供。
代码:MIT(LICENSE)。标注与论文文本:CC BY 4.0。paper/tex/acl.sty 和 acl_natbib.bst 保留其自身条款。
@article{kaya2026quantization,
title={Is 4-Bit Quantization More Than Noise to a Chat Model's Safety Behaviour? Attributing Behavioural Shifts with Matched Perturbations},
author={Kaya, Ege},
journal={arXiv preprint arXiv:2611.22186},
year={2026}
}