
Является ли 4-битная квантизация чем-то большим, чем шум, для поведения безопасности чат-модели? Код, предварительная регистрация и метки.
Атрибуция поведенческих сдвигов с помощью согласованных возмущений
Код и анализ для предварительно зарегистрированного аудита того, как 4-битное квантование изменяет отказы небольших чат-моделей, с контролями, которые проверяют, происходит ли изменение из-за квантования или последовало бы за любым возмущением того же размера.
Статья: arXiv:2611.22186
Чат-модели, работающие на телефонах и ноутбуках, обычно представляют собой 4-битные копии модели, которая была оценена на безопасность. Аудиты таких копий расходятся во мнениях: одни обнаруживают, что квантование ослабляет отказ, другие — что нет, третьи — что модели отказывают чаще. 4-битная сборка — это одно конкретное возмущение каждого веса, и существует множество других возмущений того же размера. Таким образом, сдвиг в её отказах может происходить из структуры ошибки округления или из собственной склонности модели при любом возмущении такого размера.
Мы тестируем три чат-модели размером 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) в форматах округления к ближайшему, которые MLX поставляет для Apple Silicon. Каждое сравнение является парным и читается относительно 8-битной сборки, которая оставляет правдоподобие неизменным. Кратко:
Числа, стоящие за каждым предложением в статье, генерируются одним скриптом (см. Воспроизведение статьи).
| Путь | Содержимое |
|---|---|
PREREG.md | Предварительная регистрация и пять датированных дополнений к ней, каждое зафиксировано до данных, к которым оно относится |
qrefusal/ | Общий код: форматирование чата с закреплённой датой шаблона, жадное и сэмплированное декодирование, послойный прямой проход с хуками (в MLX нет API хуков), направления отказа, парная статистика |
runs/ | Один скрипт на эксперимент; каждый пишет в results/<experiment>/ |
analysis/make_numbers.py | Восстанавливает каждое число в статье из сырых файлов результатов, с проверками целостности |
analysis/figures.py | Рисует графики из paper/numbers.json |
paper/ | Исходный код LaTeX; числа попадают в текст только как макросы, сгенерированные анализом |
scripts/ | Конвертация моделей, загрузка данных и очереди запусков |
tests/ | Тесты идентичности для прямого прохода с хуками и статистики |
| Статья | Скрипт | Что он делает |
|---|---|---|
| §3 Настройка | scripts/convert.sh | Создаёт копии модели в bf16, 8-бит, 4-бит (группы 64 и 32), смешанном 4/6, MXFP4, AWQ и GPTQ |
| §3 Настройка | runs/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.py | Направления отказа для каждого слоя; abliterated-копия в bf16; податливые префиксы, используемые для prefill |
| §3 Настройка | runs/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.py | Судья контента (Qwen2.5-14B), Llama Guard 3 и слепой двухфазный лист для ручной разметки |
| §4 Нестабильность меток и 8-битный нулевой результат | runs/e0_determinism.py, runs/a2_depth.py --temp | Идентичность при жадном повторном запуске; нижняя граница seed для сэмплирования |
| §5.1 Принудительный старт | runs/a2_depth.py, runs/r1.py | Глубины prefill k = 0, 2, 8; универсальный префикс (--fixed_prefix); проверка длины (--max_tokens 384 --sample 150) |
| §5.2 Свободный старт | runs/x2_sneaky.py | Обучающий и отложенный тестовый наборы WildJailbreak; SORRY-Bench |
| §6 Два более простых объяснения | runs/x1_xstest.py, runs/c1_capability.py | Избыточный отказ на XSTest и безвредных промптах в стиле джейлбрейка; правдоподобие и биты на вес |
| §7 Контроли со согласованными возмущениями | runs/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.py | Сборки со согласованными возмущениями и масштабированием с проверочным гейтом; ошибка округления по каждой матрице; среда выполнения llama.cpp |
| §8 Проекции направления отказа | runs/m1_direction.py | Проекции на направление отказа в bf16 |
| Приложение | runs/a1_prefill.py, runs/r5_runon.py | Пилотный запуск prefill; сбой конца хода в MXFP4 Qwen2.5 |
Оборудование: один Apple Silicon Mac с 16 ГБ памяти (мы использовали M2 Pro). Полный набор запусков занимает несколько дней машинного времени; модели загружаются по одной.
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
Три набора промптов получены от их авторов и размещены в data/:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvОчереди запуска в scripts/ содержат команды для зарегистрированных позже анализов в том порядке, в котором мы их выполняли; таблица выше содержит скрипты для остальных. Они требуют наличия conda-окружения с именем ml, а runs/g1_gguf.py требует llama.cpp (коммит 0ec4027) в ../tools/llama.cpp-src и Homebrew llama-quantize. Каждый эксперимент пропускает уже существующие выходные данные, поэтому очередь можно остановить и перезапустить. Затем:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
PREREG.md фиксирует основной тест, вторичные семейства, дизайн человеческой разметки, отложенный тест со свободным стартом и правило принятия решений для контрольных условий. Каждое дополнение датировано и было зафиксировано до того, как появились соответствующие данные. В приложении к статье перечислено, что и когда было зарегистрировано, а также изменения плана. Датированные коммиты находятся в приватном репозитории разработки (хэши 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa) и доступны по запросу; история этого репозитория начинается с релиза. Из PREREG.md были удалены три предложения, указывавшие на приватные заметки о планировании; больше ничего не изменялось.
Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.