Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
qrefusal — La quantification 4 bits n'est-elle que du bruit pour le comportement de sécurité d'un modèle de chat ? Code, préenregistrement et étiquettes. | Kitploit
Outils/GitHubGitHub/egekaya1/qrefusal
Apprentissage AutomatiqueArticles et RechercheApprentissage et ÉducationSécurité de l'IA
GitHubegekaya1/qrefusal

qrefusal

La quantification 4 bits n'est-elle que du bruit pour le comportement de sécurité d'un modèle de chat ? Code, préenregistrement et étiquettes.

Voir le dépôt
il y a 13h 28mPas encore vérifié
Partager

La quantification 4 bits est-elle plus qu'un simple bruit pour le comportement de sûreté d'un modèle de chat ?

Attribuer les changements de comportement à l'aide de perturbations appariées

Code et analyse pour un audit pré-enregistré de la manière dont la quantification 4 bits modifie les refus de petits modèles de chat, avec des contrôles qui demandent si un changement provient de la quantification ou découlerait de toute perturbation de même ampleur.

Article : arXiv:2611.22186

De quoi s'agit-il

Les modèles de chat qui s'exécutent sur téléphones et ordinateurs portables sont généralement des copies 4 bits du modèle qui a été évalué pour sa sûreté. Les audits de ces copies divergent : certains constatent que la quantification affaiblit le refus, d'autres constatent qu'elle ne le fait pas, d'autres encore constatent que les modèles refusent davantage. Une version 4 bits est une perturbation particulière de chaque poids, et il existe de nombreuses autres perturbations de même ampleur. Ainsi, un changement dans ses refus pourrait provenir de la structure de l'erreur d'arrondi, ou de la tendance propre du modèle sous n'importe quelle légère perturbation de cette ampleur.

Nous testons trois modèles de chat de 3-4B (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) dans les formats d'arrondi au plus proche que MLX fournit pour Apple Silicon. Chaque comparaison est appariée et lue par rapport à une version 8 bits, qui laisse la vraisemblance inchangée. En bref :

  • Démarrage forcé. Lorsque les huit premiers tokens d'une réponse conforme sont préremplis, la version 4 bits par défaut rend Qwen2.5-3B plus susceptible de la poursuivre. Llama-3.2-3B et Qwen3-4B ne bougent pas.
  • Démarrage libre. Sur 400 invites de jailbreak mises de côté, sans préremplissage, Llama-3.2-3B en 4 bits devient moins conforme. Dans une vérification exploratoire, il refuse également davantage de requêtes bénignes rédigées dans le style jailbreak, tandis que son traitement des requêtes sûres ordinaires reste inchangé.
  • Contrôles. Nous remplaçons l'erreur d'arrondi par son image miroir, une permutation intra-groupe et un bruit gaussien de taille appariée, nous la mettons à l'échelle, et nous la comparons à d'autres quantificateurs dans le même format (AWQ, GPTQ) ainsi qu'à un second environnement d'exécution (llama.cpp). Nous mesurons également l'effet de chaque version sur la direction de refus du modèle. Ensemble, ces éléments attribuent chaque changement au modèle ou à l'arrondi.

Les chiffres derrière chaque phrase de l'article sont générés par un seul script (voir Reproduire l'article).

Arborescence

CheminContenu
PREREG.mdLe pré-enregistrement et ses cinq addenda datés, chacun figé avant les données qu'il concerne
qrefusal/Code partagé : formatage de chat avec une date de template épinglée, décodage glouton et échantillonné, une passe avant couche par couche avec hooks (MLX n'a pas d'API de hooks), directions de refus, statistiques appariées
runs/Un script par expérience ; chacun écrit dans results/<experiment>/
analysis/make_numbers.pyRégénère chaque chiffre de l'article à partir des fichiers de résultats bruts, avec des contrôles d'intégrité
analysis/figures.pyDessine les figures à partir de paper/numbers.json
paper/Source LaTeX ; les chiffres n'entrent dans le texte que sous forme de macros générées par l'analyse
scripts/Conversion des modèles, récupération des données et files d'exécution
tests/Tests d'identité pour la passe avant avec hooks et les statistiques

Les expériences, dans l'ordre de l'article

ArticleScriptCe qu'il fait
§3 Configurationscripts/convert.shConstruit des copies bf16, 8 bits, 4 bits (groupe 64 et 32), mixte 4/6, MXFP4, AWQ et GPTQ d'un modèle
§3 Configurationruns/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.pyDirections de refus par couche ; une copie bf16 ablitarée ; les préfixes conformes utilisés pour le prefill
§3 Configurationruns/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.pyJuge de contenu (Qwen2.5-14B), Llama Guard 3, et la feuille d'étiquetage humain en aveugle à deux phases
§4 Instabilité des étiquettes et le nul 8 bitsruns/e0_determinism.py, runs/a2_depth.py --tempIdentité d'une réexécution gloutonne ; le plancher de graine d'échantillonnage
§5.1 Démarrage forcéruns/a2_depth.py, runs/r1.pyProfondeurs de prefill k = 0, 2, 8 ; préfixe générique (--fixed_prefix) ; vérification de longueur (--max_tokens 384 --sample 150)
§5.2 Démarrage libreruns/x2_sneaky.pyEnsembles de développement et de test retenus WildJailbreak ; SORRY-Bench
§6 Deux explications plus simplesruns/x1_xstest.py, runs/c1_capability.pySur-refus sur XSTest et sur des invites bénignes de style jailbreak ; vraisemblance et bits par poids
§7 Contrôles par perturbation appariéeruns/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.pyConstructions à perturbation appariée et à échelle avec une porte de validation ; erreur d'arrondi par matrice ; le runtime llama.cpp
§8 Projections de direction de refusruns/m1_direction.pyProjections sur la direction de refus bf16
Annexeruns/a1_prefill.py, runs/r5_runon.pyLe pilote de prefill ; une défaillance de fin de tour dans MXFP4 Qwen2.5

Reproduire l'article

Matériel : un Mac Apple Silicon avec 16 Go de mémoire (nous avons utilisé un M2 Pro). L'ensemble complet des exécutions prend plusieurs jours de temps machine ; les modèles sont chargés un à la fois.

pip install -e ".[test]"                    # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh                        # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b   # needed by the tests and Appendix G
python -m pytest tests

Trois ensembles de prompts sont obtenus auprès de leurs auteurs et placés sous data/ :

  • XSTest (Röttger et al., 2024) : data/xstest/xstest_prompts.csv
  • SORRY-Bench (Xie et al., 2024 ; accès restreint sur Hugging Face) : data/sorry/question*.jsonl
  • Ensemble d'évaluation WildJailbreak (Jiang et al., 2024 ; accès restreint sur Hugging Face) : data/wildjailbreak/eval/eval.tsv

Les files d'attente d'exécution dans scripts/ fournissent les commandes pour les analyses enregistrées ultérieurement, dans l'ordre où nous les avons exécutées ; le tableau ci-dessus donne les scripts pour les autres. Elles nécessitent un environnement conda nommé ml, et runs/g1_gguf.py nécessite llama.cpp (commit 0ec4027) à l'emplacement ../tools/llama.cpp-src ainsi que llama-quantize de Homebrew. Chaque expérience ignore les sorties qui existent déjà, de sorte qu'une file d'attente peut être arrêtée et redémarrée. Ensuite :

python analysis/make_numbers.py    # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py         # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex

Pré-enregistrement

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

Pas encore de données de popularité.

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →