
क्या 4-बिट क्वांटाइज़ेशन किसी चैट मॉडल के सुरक्षा व्यवहार के लिए केवल शोर से अधिक है? कोड, पूर्व-पंजीकरण और लेबल।
मिलान किए गए विक्षोभों के साथ व्यवहारगत बदलावों का श्रेय-निर्धारण
छोटे चैट मॉडलों के इनकारों में 4-बिट क्वांटाइज़ेशन कैसे बदलाव लाता है, इसके पूर्व-पंजीकृत ऑडिट के लिए कोड और विश्लेषण, ऐसे नियंत्रणों के साथ जो यह पूछते हैं कि कोई बदलाव क्वांटाइज़ेशन से आता है या समान आकार के किसी भी विक्षोभ से अनुसरण करेगा।
पेपर: arXiv:2611.22186
फ़ोन और लैपटॉप पर चलने वाले चैट मॉडल आमतौर पर उस मॉडल की 4-बिट प्रतियाँ होती हैं जिसका सुरक्षा के लिए मूल्यांकन किया गया था। ऐसी प्रतियों के ऑडिट असहमत हैं: कुछ पाते हैं कि क्वांटाइज़ेशन इनकार को कमज़ोर करता है, कुछ पाते हैं कि नहीं करता, कुछ पाते हैं कि मॉडल अधिक इनकार करते हैं। एक 4-बिट बिल्ड प्रत्येक भार का एक विशिष्ट विक्षोभ है, और समान आकार के कई अन्य विक्षोभ भी हैं। इसलिए इसके इनकारों में बदलाव राउंडिंग त्रुटि की संरचना से आ सकता है, या उस आकार के किसी भी झटके के अंतर्गत मॉडल के अपने झुकाव से।
हम तीन 3-4B चैट मॉडलों (Qwen2.5-3B-Instruct, Llama-3.2-3B-Instruct, Qwen3-4B-Instruct-2507) को उन round-to-nearest प्रारूपों में परखते हैं जो MLX Apple Silicon के लिए प्रदान करता है। प्रत्येक तुलना युग्मित है और 8-बिट बिल्ड के विरुद्ध पढ़ी जाती है, जो संभाव्यता को अपरिवर्तित छोड़ता है। संक्षेप में:
पेपर के प्रत्येक वाक्य के पीछे की संख्याएँ एक ही स्क्रिप्ट द्वारा उत्पन्न होती हैं (देखें पेपर का पुनरुत्पादन)।
| पथ | सामग्री |
|---|---|
PREREG.md | पूर्व-पंजीकरण और उसके पाँच तिथि-अंकित परिशिष्ट, प्रत्येक उस डेटा से पहले निर्धारित जिससे वह संबंधित है |
qrefusal/ | साझा कोड: एक पिन किए गए टेम्पलेट तिथि के साथ चैट फ़ॉर्मेटिंग, greedy और sampled डिकोडिंग, hooks के साथ परत-दर-परत फ़ॉरवर्ड पास (MLX में कोई hook API नहीं है), इनकार-दिशाएँ, युग्मित सांख्यिकी |
runs/ | प्रति प्रयोग एक स्क्रिप्ट; प्रत्येक results/<experiment>/ में लिखती है |
analysis/make_numbers.py | अखंडता जाँचों के साथ कच्ची परिणाम फ़ाइलों से पेपर की प्रत्येक संख्या को पुनः उत्पन्न करता है |
analysis/figures.py | paper/numbers.json से आकृतियाँ बनाता है |
paper/ | LaTeX स्रोत; संख्याएँ पाठ में केवल विश्लेषण द्वारा उत्पन्न मैक्रो के रूप में प्रवेश करती हैं |
scripts/ | मॉडल रूपांतरण, डेटा फ़ेचिंग, और रन क्यू |
tests/ | hooked फ़ॉरवर्ड पास और सांख्यिकी के लिए पहचान परीक्षण |
| पेपर | स्क्रिप्ट | यह क्या करता है |
|---|---|---|
| §3 सेटअप | scripts/convert.sh | किसी मॉडल की bf16, 8-बिट, 4-बिट (समूह 64 और 32), मिश्रित 4/6, MXFP4, AWQ और GPTQ प्रतियाँ बनाता है |
| §3 सेटअप | runs/r2.py, runs/e7_abliterate.py, runs/e7b_prefixes.py | प्रति परत इनकार की दिशाएँ; एक abliterated bf16 प्रति; प्रीफ़िल के लिए उपयोग किए गए अनुपालक प्रीफ़िक्स |
| §3 सेटअप | runs/r1b_judge.py, runs/j2_ensemble.py, runs/l2_pair_sheet.py | सामग्री जज (Qwen2.5-14B), Llama Guard 3, और ब्लाइंड दो-चरणीय मानव-लेबलिंग शीट |
| §4 लेबल अस्थिरता और 8-बिट नल | runs/e0_determinism.py, runs/a2_depth.py --temp | ग्रीडी पुनर्रन पहचान; सैंपलिंग सीड फ़्लोर |
| §5.1 बाध्य प्रारंभ | runs/a2_depth.py, runs/r1.py | प्रीफ़िल गहराई k = 0, 2, 8; सामान्य प्रीफ़िक्स (--fixed_prefix); लंबाई जाँच (--max_tokens 384 --sample 150) |
| §5.2 मुक्त प्रारंभ | runs/x2_sneaky.py | WildJailbreak विकास और होल्ड-आउट टेस्ट सेट; SORRY-Bench |
| §6 दो सरल व्याख्याएँ | runs/x1_xstest.py, runs/c1_capability.py | XSTest और जेलब्रेक-शैली के सौम्य प्रॉम्प्ट पर अति-इनकार; likelihood और bits per weight |
| §7 मिलान-आधारित गड़बड़ी नियंत्रण | runs/e2_perturb.py, runs/e2_errors.py, runs/g1_gguf.py | सत्यापन गेट के साथ मिलान-आधारित गड़बड़ी और स्केल किए गए बिल्ड; प्रति-मैट्रिक्स राउंडिंग त्रुटि; llama.cpp रनटाइम |
| §8 इनकार-दिशा प्रक्षेपण | runs/m1_direction.py | bf16 इनकार दिशा पर प्रक्षेपण |
| परिशिष्ट | runs/a1_prefill.py, runs/r5_runon.py | प्रीफ़िल पायलट; MXFP4 Qwen2.5 में टर्न-अंत विफलता |
हार्डवेयर: 16 GB मेमोरी वाला एक Apple Silicon Mac (हमने M2 Pro का उपयोग किया)। रनों का पूरा सेट कई दिनों का मशीन समय लेता है; मॉडल एक बार में एक ही लोड किए जाते हैं।
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
तीन प्रॉम्प्ट सेट उनके लेखकों से प्राप्त किए जाते हैं और data/ के अंतर्गत रखे जाते हैं:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvscripts/ में रन क्यू उन बाद में पंजीकृत विश्लेषणों के लिए कमांड देते हैं जिन्हें हमने उसी क्रम में चलाया था; ऊपर दी गई तालिका शेष के लिए स्क्रिप्ट देती है। वे ml नामक एक conda वातावरण की अपेक्षा करते हैं, और runs/g1_gguf.py ../tools/llama.cpp-src पर llama.cpp (commit 0ec4027) और Homebrew llama-quantize की अपेक्षा करता है। प्रत्येक प्रयोग पहले से मौजूद आउटपुट को छोड़ देता है, इसलिए किसी क्यू को रोका और पुनः आरंभ किया जा सकता है। फिर:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
PREREG.md प्राथमिक परीक्षण, द्वितीयक परिवारों, मानव-लेबल डिज़ाइन, होल्ड-आउट फ्री-स्टार्ट परीक्षण और नियंत्रणों के निर्णय नियम को निर्धारित करता है। प्रत्येक अनुशेष (addendum) दिनांकित है और जिस डेटा से वह संबंधित है उसके अस्तित्व में आने से पहले निर्धारित किया गया था। पेपर का परिशिष्ट सूचीबद्ध करता है कि क्या और कब पंजीकृत किया गया था तथा योजना में किए गए परिवर्तन क्या थे। दिनांकित कमिट एक निजी विकास रिपॉज़िटरी में हैं (हैश 50d0225, 2c53665, 86c93e0, 3e2ea52, 02e72c5, 09e49aa), अनुरोध पर उपलब्ध; इस रिपॉज़िटरी का इतिहास रिलीज़ से शुरू होता है। PREREG.md से तीन वाक्य जो निजी योजना नोट्स की ओर संकेत करते थे, हटा दिए गए थे; इसके अलावा कुछ नहीं बदला गया।
जारी किया गया: कोड, पूर्व-पंजीकरण, समग्र परिणाम (paper/numbers.{md,json}) और प्रत्येक जज, Llama Guard तथा मानव लेबल, बिना किसी प्रॉम्प्ट या उत्तर पाठ के, labels/ में (analysis/export_labels.py द्वारा लिखित)। पंक्तियाँ सेटिंग, मॉडल, बिल्ड और प्रॉम्प्ट इंडेक्स i द्वारा कुंजीबद्ध हैं: उस प्रॉम्प्ट स्प्लिट की पंक्ति अनुक्रमणिका जिसे runs/ लोड करता है (x2/* के लिए, runs/x2_sneaky.py में सीडेड नमूने)। जारी नहीं किया गया: मॉडल के उत्तर, जिनमें बाध्य (forced) स्टार्ट के अंतर्गत उत्पन्न हानिकारक सामग्री शामिल है; make_numbers.py उन्हें results/ से पढ़ता है, जो संस्करण नियंत्रण से बाहर रखा गया है। वे अनुरोध पर शोधकर्ताओं के लिए उपलब्ध हैं।
कोड: MIT (LICENSE)। लेबल और पेपर पाठ: CC BY 4.0। paper/tex/acl.sty और acl_natbib.bst अपनी स्वयं की शर्तें बनाए रखते हैं।
हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।
अभी तक कोई लोकप्रियता डेटा नहीं है।