
La quantizzazione a 4 bit è più che rumore per il comportamento di sicurezza di un modello di chat? Codice, pre-registrazione ed etichette.
Attribuire i cambiamenti comportamentali con perturbazioni appaiate
Codice e analisi per un audit pre-registrato di come la quantizzazione a 4 bit modifica i rifiuti dei piccoli modelli chat, con controlli che chiedono se un cambiamento proviene dalla quantizzazione o conseguirebbe da qualsiasi perturbazione della stessa entità.
Paper: arXiv:2611.22186
I modelli chat che girano su telefoni e laptop sono di solito copie a 4 bit del modello che è stato valutato per la sicurezza. Gli audit di tali copie sono discordanti: alcuni rilevano che la quantizzazione indebolisce il rifiuto, altri che non lo fa, altri ancora che i modelli rifiutano di più. Una build a 4 bit è una particolare perturbazione di ogni peso, e esistono molte altre perturbazioni della stessa entità. Quindi uno spostamento nei suoi rifiuti potrebbe derivare dalla struttura dell'errore di arrotondamento, oppure dalla propensione del modello stesso sotto qualsiasi sollecitazione di quella entità.
Testiamo tre modelli chat da 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) nei formati round-to-nearest che MLX distribuisce per Apple Silicon. Ogni confronto è appaiato e letto rispetto a una build a 8 bit, che lascia invariata la verosimiglianza. In breve:
I numeri dietro ogni frase del paper sono generati da un unico script (vedi Riprodurre il paper).
| Percorso | Contenuti |
|---|---|
PREREG.md | La pre-registrazione e i suoi cinque addenda datati, ciascuno fissato prima dei dati a cui si riferisce |
qrefusal/ | Codice condiviso: formattazione chat con una data di template fissata, decodifica greedy e campionata, un forward pass strato per strato con hook (MLX non ha un'API di hook), direzioni di rifiuto, statistiche appaiate |
runs/ | Uno script per esperimento; ciascuno scrive in results/<experiment>/ |
analysis/make_numbers.py | Rigenera ogni numero del paper dai file di risultato grezzi, con controlli di integrità |
analysis/figures.py | Disegna le figure da paper/numbers.json |
paper/ | Sorgente LaTeX; i numeri entrano nel testo solo come macro generate dall'analisi |
scripts/ | Conversione dei modelli, recupero dei dati e le code di esecuzione |
tests/ | Test di identità per il forward pass con hook e per le statistiche |
| Paper | Script | Cosa fa |
|---|---|---|
| §3 Setup | scripts/convert.sh | Crea copie bf16, 8-bit, 4-bit (gruppo 64 e 32), miste 4/6, MXFP4, AWQ e GPTQ di un modello |
| §3 Setup | runs/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.py | Direzioni di rifiuto per layer; una copia bf16 abliterata; i prefissi compiacenti usati per il prefill |
| §3 Setup | runs/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.py | Giudice dei contenuti (Qwen2.5-14B), Llama Guard 3 e il foglio di etichettatura umana cieco in due fasi |
| §4 Instabilità delle etichette e il null a 8-bit | runs/e0_determinism.py, runs/a2_depth.py --temp | Identità della riesecuzione greedy; la soglia del seed di campionamento |
| §5.1 Avvio forzato | runs/a2_depth.py, runs/r1.py | Profondità di prefill k = 0, 2, 8; prefisso generico (--fixed_prefix); controllo di lunghezza (--max_tokens 384 --sample 150) |
| §5.2 Avvio libero | runs/x2_sneaky.py | Set di sviluppo e di test held-out di WildJailbreak; SORRY-Bench |
| §6 Due spiegazioni più semplici | runs/x1_xstest.py, runs/c1_capability.py | Eccesso di rifiuto su XSTest e su prompt benigni in stile jailbreak; verosimiglianza e bit per peso |
| §7 Controlli a perturbazione appaiata | runs/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.py | Build a perturbazione appaiata e scalate con un gate di validazione; errore di arrotondamento per matrice; il runtime llama.cpp |
| §8 Proiezioni sulla direzione di rifiuto | runs/m1_direction.py | Proiezioni sulla direzione di rifiuto bf16 |
| Appendice | runs/a1_prefill.py, runs/r5_runon.py | Il pilota del prefill; un errore di fine turno in MXFP4 Qwen2.5 |
Hardware: un Mac Apple Silicon con 16 GB di memoria (abbiamo usato un M2 Pro). L'insieme completo delle esecuzioni richiede diversi giorni di tempo macchina; i modelli vengono caricati uno alla volta.
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
Tre set di prompt vengono ottenuti dai rispettivi autori e collocati sotto data/:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvLe code di esecuzione in scripts/ forniscono i comandi per le analisi registrate successivamente, nell'ordine in cui le abbiamo eseguite; la tabella sopra riporta gli script per le restanti. Richiedono un ambiente conda denominato ml, e runs/g1_gguf.py richiede llama.cpp (commit 0ec4027) in ../tools/llama.cpp-src e llama-quantize di Homebrew. Ogni esperimento salta gli output già esistenti, quindi una coda può essere interrotta e riavviata. Poi:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
PREREG.md fissa il test primario, le famiglie secondarie, il disegno delle etichette umane, il test held-out a partenza libera e la regola decisionale dei controlli. Ogni addendum è datato ed è stato fissato prima che esistessero i dati a cui si riferisce. L'appendice del paper elenca cosa è stato registrato e quando e le modifiche al piano. I commit datati sono in un repository di sviluppo privato (hash 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa), disponibili su richiesta; la cronologia di questo repository inizia con la release. Tre frasi che rimandavano a note di pianificazione private sono state rimosse da PREREG.md; nient'altro è stato modificato.