
La quantification 4 bits n'est-elle que du bruit pour le comportement de sécurité d'un modèle de chat ? Code, préenregistrement et étiquettes.
Attribuer les changements de comportement à l'aide de perturbations appariées
Code et analyse pour un audit pré-enregistré de la manière dont la quantification 4 bits modifie les refus de petits modèles de chat, avec des contrôles qui demandent si un changement provient de la quantification ou découlerait de toute perturbation de même ampleur.
Article : arXiv:2611.22186
Les modèles de chat qui s'exécutent sur téléphones et ordinateurs portables sont généralement des copies 4 bits du modèle qui a été évalué pour sa sûreté. Les audits de ces copies divergent : certains constatent que la quantification affaiblit le refus, d'autres constatent qu'elle ne le fait pas, d'autres encore constatent que les modèles refusent davantage. Une version 4 bits est une perturbation particulière de chaque poids, et il existe de nombreuses autres perturbations de même ampleur. Ainsi, un changement dans ses refus pourrait provenir de la structure de l'erreur d'arrondi, ou de la tendance propre du modèle sous n'importe quelle légère perturbation de cette ampleur.
Nous testons trois modèles de chat de 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) dans les formats d'arrondi au plus proche que MLX fournit pour Apple Silicon. Chaque comparaison est appariée et lue par rapport à une version 8 bits, qui laisse la vraisemblance inchangée. En bref :
Les chiffres derrière chaque phrase de l'article sont générés par un seul script (voir Reproduire l'article).
| Chemin | Contenu |
|---|---|
PREREG.md | Le pré-enregistrement et ses cinq addenda datés, chacun figé avant les données qu'il concerne |
qrefusal/ | Code partagé : formatage de chat avec une date de template épinglée, décodage glouton et échantillonné, une passe avant couche par couche avec hooks (MLX n'a pas d'API de hooks), directions de refus, statistiques appariées |
runs/ | Un script par expérience ; chacun écrit dans results/<experiment>/ |
analysis/make_numbers.py | Régénère chaque chiffre de l'article à partir des fichiers de résultats bruts, avec des contrôles d'intégrité |
analysis/figures.py | Dessine les figures à partir de paper/numbers.json |
paper/ | Source LaTeX ; les chiffres n'entrent dans le texte que sous forme de macros générées par l'analyse |
scripts/ | Conversion des modèles, récupération des données et files d'exécution |
tests/ | Tests d'identité pour la passe avant avec hooks et les statistiques |
| Article | Script | Ce qu'il fait |
|---|---|---|
| §3 Configuration | scripts/convert.sh | Construit des copies bf16, 8 bits, 4 bits (groupe 64 et 32), mixte 4/6, MXFP4, AWQ et GPTQ d'un modèle |
| §3 Configuration | runs/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.py | Directions de refus par couche ; une copie bf16 ablitarée ; les préfixes conformes utilisés pour le prefill |
| §3 Configuration | runs/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.py | Juge de contenu (Qwen2.5-14B), Llama Guard 3, et la feuille d'étiquetage humain en aveugle à deux phases |
| §4 Instabilité des étiquettes et le nul 8 bits | runs/e0_determinism.py, runs/a2_depth.py --temp | Identité d'une réexécution gloutonne ; le plancher de graine d'échantillonnage |
| §5.1 Démarrage forcé | runs/a2_depth.py, runs/r1.py | Profondeurs de prefill k = 0, 2, 8 ; préfixe générique (--fixed_prefix) ; vérification de longueur (--max_tokens 384 --sample 150) |
| §5.2 Démarrage libre | runs/x2_sneaky.py | Ensembles de développement et de test retenus WildJailbreak ; SORRY-Bench |
| §6 Deux explications plus simples | runs/x1_xstest.py, runs/c1_capability.py | Sur-refus sur XSTest et sur des invites bénignes de style jailbreak ; vraisemblance et bits par poids |
| §7 Contrôles par perturbation appariée | runs/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.py | Constructions à perturbation appariée et à échelle avec une porte de validation ; erreur d'arrondi par matrice ; le runtime llama.cpp |
| §8 Projections de direction de refus | runs/m1_direction.py | Projections sur la direction de refus bf16 |
| Annexe | runs/a1_prefill.py, runs/r5_runon.py | Le pilote de prefill ; une défaillance de fin de tour dans MXFP4 Qwen2.5 |
Matériel : un Mac Apple Silicon avec 16 Go de mémoire (nous avons utilisé un M2 Pro). L'ensemble complet des exécutions prend plusieurs jours de temps machine ; les modèles sont chargés un à la fois.
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
Trois ensembles de prompts sont obtenus auprès de leurs auteurs et placés sous data/ :
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvLes files d'attente d'exécution dans scripts/ fournissent les commandes pour les analyses enregistrées ultérieurement, dans l'ordre où nous les avons exécutées ; le tableau ci-dessus donne les scripts pour les autres. Elles nécessitent un environnement conda nommé ml, et runs/g1_gguf.py nécessite llama.cpp (commit 0ec4027) à l'emplacement ../tools/llama.cpp-src ainsi que llama-quantize de Homebrew. Chaque expérience ignore les sorties qui existent déjà, de sorte qu'une file d'attente peut être arrêtée et redémarrée. Ensuite :
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
Découvrez les outils les plus utilisés par notre communauté.
Pas encore de données de popularité.