Skip to content
KitploitKITPLOIT
ИнструментыБлог
Log in
Отправить
ИнструментыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
qrefusal — Является ли 4-битная квантизация чем-то большим, чем шум, для поведения безопасности чат-модели? Код, предварительная регистрация и метки. | Kitploit
Инструменты/GitHubGitHub/egekaya1/qrefusal
Машинное ОбучениеСтатьи и ИсследованияОбучение и ОбразованиеБезопасность ИИ
GitHubegekaya1/qrefusal

qrefusal

Является ли 4-битная квантизация чем-то большим, чем шум, для поведения безопасности чат-модели? Код, предварительная регистрация и метки.

Репозиторий
15 ч 41 мин назадЕщё не проверено
Поделиться

Является ли 4-битное квантование чем-то большим, чем шум, для поведения безопасности чат-модели?

Атрибуция поведенческих сдвигов с помощью согласованных возмущений

Код и анализ для предварительно зарегистрированного аудита того, как 4-битное квантование изменяет отказы небольших чат-моделей, с контролями, которые проверяют, происходит ли изменение из-за квантования или последовало бы за любым возмущением того же размера.

Статья: arXiv:2611.22186

О чём это

Чат-модели, работающие на телефонах и ноутбуках, обычно представляют собой 4-битные копии модели, которая была оценена на безопасность. Аудиты таких копий расходятся во мнениях: одни обнаруживают, что квантование ослабляет отказ, другие — что нет, третьи — что модели отказывают чаще. 4-битная сборка — это одно конкретное возмущение каждого веса, и существует множество других возмущений того же размера. Таким образом, сдвиг в её отказах может происходить из структуры ошибки округления или из собственной склонности модели при любом возмущении такого размера.

Мы тестируем три чат-модели размером 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) в форматах округления к ближайшему, которые MLX поставляет для Apple Silicon. Каждое сравнение является парным и читается относительно 8-битной сборки, которая оставляет правдоподобие неизменным. Кратко:

  • Принудительный старт. Когда первые восемь токенов соответствующего ответа предзаполнены, 4-битная сборка по умолчанию делает Qwen2.5-3B более склонной продолжать его. Llama-3.2-3B и Qwen3-4B не меняются.
  • Свободный старт. На 400 отложенных джейлбрейк-промптах без предзаполнения 4-битная Llama-3.2-3B становится менее сговорчивой. В исследовательской проверке она также чаще отказывает на безобидные запросы, написанные в стиле джейлбрейка, тогда как её обработка обычных безопасных запросов не меняется.
  • Контроли. Мы заменяем ошибку округления её зеркальным отображением, перестановкой внутри группы и гауссовым шумом согласованного размера, масштабируем её и сравниваем с другими квантователями в том же формате (AWQ, GPTQ) и со второй средой выполнения (llama.cpp). Мы также измеряем влияние каждой сборки на направление отказа модели. В совокупности это позволяет отнести каждый сдвиг к модели или к округлению.

Числа, стоящие за каждым предложением в статье, генерируются одним скриптом (см. Воспроизведение статьи).

Структура

ПутьСодержимое
PREREG.mdПредварительная регистрация и пять датированных дополнений к ней, каждое зафиксировано до данных, к которым оно относится
qrefusal/Общий код: форматирование чата с закреплённой датой шаблона, жадное и сэмплированное декодирование, послойный прямой проход с хуками (в MLX нет API хуков), направления отказа, парная статистика
runs/Один скрипт на эксперимент; каждый пишет в results/<experiment>/
analysis/make_numbers.pyВосстанавливает каждое число в статье из сырых файлов результатов, с проверками целостности
analysis/figures.pyРисует графики из paper/numbers.json
paper/Исходный код LaTeX; числа попадают в текст только как макросы, сгенерированные анализом
scripts/Конвертация моделей, загрузка данных и очереди запусков
tests/Тесты идентичности для прямого прохода с хуками и статистики

Эксперименты, в порядке статьи

СтатьяСкриптЧто он делает
§3 Настройкаscripts/convert.shСоздаёт копии модели в bf16, 8-бит, 4-бит (группы 64 и 32), смешанном 4/6, MXFP4, AWQ и GPTQ
§3 Настройкаruns/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.pyНаправления отказа для каждого слоя; abliterated-копия в bf16; податливые префиксы, используемые для prefill
§3 Настройкаruns/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.pyСудья контента (Qwen2.5-14B), Llama Guard 3 и слепой двухфазный лист для ручной разметки
§4 Нестабильность меток и 8-битный нулевой результатruns/e0_determinism.py, runs/a2_depth.py --tempИдентичность при жадном повторном запуске; нижняя граница seed для сэмплирования
§5.1 Принудительный стартruns/a2_depth.py, runs/r1.pyГлубины prefill k = 0, 2, 8; универсальный префикс (--fixed_prefix); проверка длины (--max_tokens 384 --sample 150)
§5.2 Свободный стартruns/x2_sneaky.pyОбучающий и отложенный тестовый наборы WildJailbreak; SORRY-Bench
§6 Два более простых объясненияruns/x1_xstest.py, runs/c1_capability.pyИзбыточный отказ на XSTest и безвредных промптах в стиле джейлбрейка; правдоподобие и биты на вес
§7 Контроли со согласованными возмущениямиruns/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.pyСборки со согласованными возмущениями и масштабированием с проверочным гейтом; ошибка округления по каждой матрице; среда выполнения llama.cpp
§8 Проекции направления отказаruns/m1_direction.pyПроекции на направление отказа в bf16
Приложениеruns/a1_prefill.py, runs/r5_runon.pyПилотный запуск prefill; сбой конца хода в MXFP4 Qwen2.5

Воспроизведение статьи

Оборудование: один Apple Silicon Mac с 16 ГБ памяти (мы использовали M2 Pro). Полный набор запусков занимает несколько дней машинного времени; модели загружаются по одной.

pip install -e ".[test]"                    # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh                        # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b   # needed by the tests and Appendix G
python -m pytest tests

Три набора промптов получены от их авторов и размещены в data/:

  • XSTest (Röttger et al., 2024): data/xstest/xstest_prompts.csv
  • SORRY-Bench (Xie et al., 2024; с ограниченным доступом на Hugging Face): data/sorry/question*.jsonl
  • Оценочный набор WildJailbreak (Jiang et al., 2024; с ограниченным доступом на Hugging Face): data/wildjailbreak/eval/eval.tsv

Очереди запуска в scripts/ содержат команды для зарегистрированных позже анализов в том порядке, в котором мы их выполняли; таблица выше содержит скрипты для остальных. Они требуют наличия conda-окружения с именем ml, а runs/g1_gguf.py требует llama.cpp (коммит 0ec4027) в ../tools/llama.cpp-src и Homebrew llama-quantize. Каждый эксперимент пропускает уже существующие выходные данные, поэтому очередь можно остановить и перезапустить. Затем:

python analysis/make_numbers.py    # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py         # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex

Предварительная регистрация

PREREG.md фиксирует основной тест, вторичные семейства, дизайн человеческой разметки, отложенный тест со свободным стартом и правило принятия решений для контрольных условий. Каждое дополнение датировано и было зафиксировано до того, как появились соответствующие данные. В приложении к статье перечислено, что и когда было зарегистрировано, а также изменения плана. Датированные коммиты находятся в приватном репозитории разработки (хэши 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa) и доступны по запросу; история этого репозитория начинается с релиза. Из PREREG.md были удалены три предложения, указывавшие на приватные заметки о планировании; больше ничего не изменялось.

Что выпущено, а что нет

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Данных о популярности пока нет.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →