
¿Es la cuantización de 4 bits algo más que ruido para el comportamiento de seguridad de un modelo de chat? Código, prerregistro y etiquetas.
Atribuir cambios de comportamiento con perturbaciones emparejadas
Código y análisis para una auditoría preinscrita de cómo la cuantización de 4 bits cambia las negativas de modelos de chat pequeños, con controles que preguntan si un cambio proviene de la cuantización o se derivaría de cualquier perturbación del mismo tamaño.
Artículo: arXiv:2611.22186
Los modelos de chat que se ejecutan en teléfonos y portátiles suelen ser copias de 4 bits del modelo que fue evaluado en materia de seguridad. Las auditorías de dichas copias no coinciden: algunas concluyen que la cuantización debilita la negativa, otras que no, y otras que los modelos se niegan más. Una compilación de 4 bits es una perturbación particular de cada peso, y existen muchas otras perturbaciones del mismo tamaño. Por lo tanto, un cambio en sus negativas podría provenir de la estructura del error de redondeo, o de la propia inclinación del modelo ante cualquier empujón de ese tamaño.
Evaluamos tres modelos de chat de 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) en los formatos de redondeo al más cercano que MLX distribuye para Apple Silicon. Cada comparación es emparejada y se lee frente a una compilación de 8 bits, que deja la verosimilitud sin cambios. En resumen:
Los números detrás de cada frase del artículo son generados por un único script (véase Reproducir el artículo).
| Ruta | Contenido |
|---|---|
PREREG.md | La preinscripción y sus cinco apéndices fechados, cada uno fijado antes de los datos a los que concierne |
qrefusal/ | Código compartido: formateo de chat con una fecha de plantilla fijada, decodificación voraz y muestreada, una pasada hacia adelante capa por capa con hooks (MLX no tiene API de hooks), direcciones de negativa, estadísticas emparejadas |
runs/ | Un script por experimento; cada uno escribe en results/<experiment>/ |
analysis/make_numbers.py | Regenera cada número del artículo a partir de los archivos de resultados sin procesar, con comprobaciones de integridad |
analysis/figures.py | Dibuja las figuras a partir de paper/numbers.json |
paper/ | Código fuente en LaTeX; los números entran en el texto solo como macros generadas por el análisis |
scripts/ | Conversión de modelos, obtención de datos y las colas de ejecución |
tests/ | Pruebas de identidad para la pasada hacia adelante con hooks y las estadísticas |
| Artículo | Script | Qué hace |
|---|---|---|
| §3 Configuración | scripts/convert.sh | Genera copias bf16, de 8 bits, de 4 bits (grupo 64 y 32), mixtas 4/6, MXFP4, AWQ y GPTQ de un modelo |
| §3 Configuración | runs/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.py | Direcciones de rechazo por capa; una copia bf16 abliterada; los prefijos conformes usados para el prefill |
| §3 Configuración | runs/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.py | Juez de contenido (Qwen2.5-14B), Llama Guard 3 y la hoja de etiquetado humano ciego en dos fases |
| §4 Inestabilidad de etiquetas y el nulo de 8 bits | runs/e0_determinism.py, runs/a2_depth.py --temp | Identidad de la reejecución voraz; el umbral de semilla de muestreo |
| §5.1 Inicio forzado | runs/a2_depth.py, runs/r1.py | Profundidades de prefill k = 0, 2, 8; prefijo genérico (--fixed_prefix); verificación de longitud (--max_tokens 384 --sample 150) |
| §5.2 Inicio libre | runs/x2_sneaky.py | Conjuntos de desarrollo y de prueba reservada de WildJailbreak; SORRY-Bench |
| §6 Dos explicaciones más simples | runs/x1_xstest.py, runs/c1_capability.py | Sobre-rechazo en XSTest y en prompts benignos con estilo de jailbreak; verosimilitud y bits por peso |
| §7 Controles de perturbación emparejada | runs/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.py | Compilaciones con perturbación emparejada y escalada con una puerta de validación; error de redondeo por matriz; el entorno de ejecución de llama.cpp |
| §8 Proyecciones de la dirección de rechazo | runs/m1_direction.py | Proyecciones sobre la dirección de rechazo bf16 |
| Apéndice | runs/a1_prefill.py, runs/r5_runon.py | El piloto de prefill; un fallo de fin de turno en MXFP4 Qwen2.5 |
Hardware: un Mac con Apple Silicon y 16 GB de memoria (usamos un M2 Pro). El conjunto completo de ejecuciones lleva varios días de tiempo de máquina; los modelos se cargan de uno en uno.
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
Se obtienen tres conjuntos de prompts de sus autores y se colocan bajo data/:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvLas colas de ejecución en scripts/ proporcionan los comandos para los análisis registrados posteriormente en el orden en que los ejecutamos; la tabla anterior proporciona los scripts para el resto. Esperan un entorno conda llamado ml, y runs/g1_gguf.py espera llama.cpp (commit 0ec4027) en ../tools/llama.cpp-src y llama-quantize de Homebrew. Cada experimento omite las salidas que ya existen, por lo que una cola puede detenerse y reiniciarse. Luego:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
PREREG.md fija la prueba primaria, las familias secundarias, el diseño de etiquetado humano, la prueba de inicio libre retenida y la regla de decisión de los controles. Cada adenda está fechada y se fijó antes de que existieran los datos a los que concierne. El apéndice del artículo enumera qué se registró y cuándo, y los cambios al plan. Los commits fechados están en un repositorio de desarrollo privado (hashes 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa), disponibles bajo petición; el historial de este repositorio comienza en la versión publicada. Se eliminaron de PREREG.md tres frases que apuntaban a notas de planificación privadas; no se cambió nada más.