
هل الكمّية ذات 4 بتات أكثر من مجرد ضجيج بالنسبة لسلوك السلامة لدى نموذج محادثة؟ الشيفرة والتسجيل المسبق والتسميات.
عزو التحولات السلوكية باستخدام اضطرابات متطابقة
شيفرة وتحليل لتدقيق مُسجَّل مسبقًا لكيفية تغيير التكميم ذي 4 بتات لعمليات الرفض لدى نماذج المحادثة الصغيرة، مع ضوابط تسأل عمّا إذا كان التغيير ناتجًا عن التكميم أو كان سيتبع أي اضطراب بالحجم نفسه.
الورقة البحثية: arXiv:2611.22186
عادةً ما تكون نماذج المحادثة التي تعمل على الهواتف والحواسيب المحمولة نسخًا ذات 4 بتات من النموذج الذي جرى تقييمه من حيث السلامة. وتختلف عمليات تدقيق هذه النسخ: فبعضها يجد أن التكميم يُضعف الرفض، وبعضها يجد أنه لا يفعل ذلك، وبعضها يجد أن النماذج ترفض أكثر. إن بناءً ذا 4 بتات هو اضطراب معيّن لكل وزن، وهناك العديد من الاضطرابات الأخرى بالحجم نفسه. لذا فإن تحوّلًا في عمليات الرفض لديها قد ينشأ عن بنية خطأ التقريب، أو عن ميل النموذج نفسه تحت أي دفعة بهذا الحجم.
نختبر ثلاثة نماذج محادثة بحجم 3-4B (Qwen2.5-3B-Instruct وLlama-3.2-3B-Instruct وQwen3-4B-Instruct-2507) في صيغ التقريب إلى الأقرب التي توفّرها MLX لمعالجات Apple Silicon. كل مقارنة تكون مقترنة وتُقرأ مقابل بناء ذي 8 بتات، والذي يترك الاحتمالية دون تغيير. باختصار:
إن الأرقام الكامنة وراء كل جملة في الورقة تُولَّد بواسطة سكربت واحد (انظر إعادة إنتاج الورقة).
| المسار | المحتويات |
|---|---|
PREREG.md | التسجيل المسبق وملاحقه الخمسة المؤرخة، وكل منها ثُبِّت قبل البيانات التي يخصها |
qrefusal/ | شيفرة مشتركة: تنسيق المحادثة بتاريخ قالب مثبَّت، وفك الترميز الجشع والعيني، وتمرير أمامي طبقةً بطبقة مع خطافات (لا يملك MLX واجهة برمجية للخطافات)، واتجاهات الرفض، والإحصاءات المقترنة |
runs/ | سكربت واحد لكل تجربة؛ يكتب كل منها إلى results/<experiment>/ |
analysis/make_numbers.py | يعيد توليد كل رقم في الورقة من ملفات النتائج الخام، مع فحوصات سلامة |
analysis/figures.py | يرسم الأشكال من paper/numbers.json |
paper/ | مصدر LaTeX؛ تدخل الأرقام إلى النص فقط كوحدات ماكرو مولَّدة بواسطة التحليل |
scripts/ | تحويل النماذج، وجلب البيانات، وقوائم انتظار التشغيل |
tests/ | اختبارات الهوية للتمرير الأمامي المزوَّد بالخطافات والإحصاءات |
| الورقة | السكربت | ما الذي يفعله |
|---|---|---|
| §3 الإعداد | scripts/convert.sh | يبني نسخًا من نموذج بصيغ bf16 و8-bit و4-bit (مجموعة 64 و32) و4/6 مختلط وMXFP4 وAWQ وGPTQ |
| §3 الإعداد | runs/r2.py، runs/e7_abliterate.py، runs/e7b_prefixes.py | اتجاهات الرفض لكل طبقة؛ نسخة bf16 مُجرَّدة من الرفض (abliterated)؛ البادئات المتوافقة المستخدمة في التمهيد المسبق (prefill) |
| §3 الإعداد | runs/r1b_judge.py، runs/j2_ensemble.py، runs/l2_pair_sheet.py | حاكم المحتوى (Qwen2.5-14B)، وLlama Guard 3، وورقة الوسم البشري العمياء ذات المرحلتين |
| §4 عدم استقرار الوسم والصفر في 8-bit | runs/e0_determinism.py، runs/a2_depth.py --temp | تطابق إعادة التشغيل الجشع (greedy)؛ الحد الأدنى لبذرة أخذ العينات |
| §5.1 البدء القسري | runs/a2_depth.py، runs/r1.py | أعماق التمهيد المسبق k = 0، 2، 8؛ بادئة عامة (--fixed_prefix)؛ فحص الطول (--max_tokens 384 --sample 150) |
| §5.2 البدء الحر | runs/x2_sneaky.py | مجموعات تطوير واختبار محجوز لـ WildJailbreak؛ SORRY-Bench |
| §6 تفسيران أبسط | runs/x1_xstest.py، runs/c1_capability.py | الرفض المفرط على XSTest والمطالبات الحميدة بأسلوب كسر الحماية (jailbreak)؛ الاحتمالية والبتات لكل وزن |
| §7 ضوابط الاضطراب المتطابق | runs/e2_perturb.py، runs/e2_errors.py، runs/g1_gguf.py | عمليات بناء متطابقة الاضطراب ومُقاسة مع بوابة تحقق؛ خطأ التقريب لكل مصفوفة؛ بيئة تشغيل llama.cpp |
| §8 إسقاطات اتجاه الرفض | runs/m1_direction.py | الإسقاطات على اتجاه الرفض في bf16 |
| الملحق | runs/a1_prefill.py، runs/r5_runon.py | التجربة الأولية للتمهيد المسبق؛ فشل نهاية الدور في MXFP4 Qwen2.5 |
العتاد: جهاز Apple Silicon Mac واحد بذاكرة 16 GB (استخدمنا M2 Pro). تستغرق المجموعة الكاملة من التشغيلات عدة أيام من وقت الآلة؛ وتُحمَّل النماذج واحدًا تلو الآخر.
pip install -e ".[test]" # mlx 0.32.4, mlx-lm 0.32.2
scripts/fetch_data.sh # refusal_direction prompt splits (Apache-2.0)
scripts/convert.sh Qwen/Qwen2.5-3B-Instruct qwen2.5-3b
scripts/convert.sh meta-llama/Llama-3.2-3B-Instruct llama3.2-3b
scripts/convert.sh Qwen/Qwen3-4B-Instruct-2507 qwen3-4b
scripts/convert.sh Qwen/Qwen2.5-0.5B-Instruct qwen2.5-0.5b # needed by the tests and Appendix G
python -m pytest tests
تُجمع ثلاث مجموعات من المطالبات (prompts) من مؤلفيها وتوضع تحت data/:
data/xstest/xstest_prompts.csvdata/sorry/question*.jsonldata/wildjailbreak/eval/eval.tsvتعطي قوائم الانتظار (queues) في scripts/ الأوامر الخاصة بالتحليلات المسجّلة لاحقًا بالترتيب الذي شغّلناها به؛ ويعطي الجدول أعلاه السكربتات الخاصة بالباقي. وهي تتوقع بيئة conda باسم ml، ويتوقع runs/g1_gguf.py وجود llama.cpp (commit 0ec4027) في ../tools/llama.cpp-src وllama-quantize من Homebrew. تتخطى كل تجربة المخرجات الموجودة بالفعل، لذا يمكن إيقاف قائمة انتظار وإعادة تشغيلها. ثم:
python analysis/make_numbers.py # paper/numbers.{md,json}, paper/tex/numbers.tex
python analysis/figures.py # paper/tex/figures/*.pdf
cd paper/tex && tectonic main.tex
يُثبّت PREREG.md الاختبار الأساسي، والعائلات الثانوية، وتصميم التسميات البشرية، واختبار البدء الحر المحجوز، وقاعدة قرار عناصر التحكم. كل ملحق مؤرّخ وقد تم تثبيته قبل وجود البيانات التي يتعلق بها. يسرد ملحق الورقة ما تم تسجيله ومتى، والتغييرات التي أُجريت على الخطة. توجد الالتزامات المؤرخة في مستودع تطوير خاص (التجزئات 50d0225، 2c53665، 86c93e0، 3e2ea52، 02e72c5، 09e49aa)، متاحة عند الطلب؛ يبدأ تاريخ هذا المستودع عند الإصدار. أُزيلت ثلاث جمل كانت تشير إلى ملاحظات تخطيط خاصة من PREREG.md؛ ولم يُغيَّر أي شيء آخر.
المنشور: الشيفرة، والتسجيل المسبق، والنتائج المجمّعة (paper/numbers.{md,json}) وكل تسمية من المُحكِّم وLlama Guard والتسميات البشرية، دون أي نص للمطالبات أو الردود، في labels/ (مكتوبة بواسطة analysis/export_labels.py). تُفهرَس الصفوف حسب الإعداد والنموذج والبناء وفهرس المطالبة i: فهرس صف تقسيم المطالبات الذي يحمّله runs/ (بالنسبة إلى x2/*، العينات المزروعة في runs/x2_sneaky.py). غير المنشور: ردود النموذج، التي تتضمن محتوى ضارًا أُنتج تحت بداية مفروضة؛ يقرؤها make_numbers.py من results/، وهو مستبعد من التحكم في الإصدارات. وهي متاحة للباحثين عند الطلب.
الشيفرة: MIT (LICENSE). التسميات ونص الورقة: CC BY 4.0. يحتفظ paper/tex/acl.sty وacl_natbib.bst بشروطهما الخاصة.
@article{kaya2026quantization,
title={Is 4-Bit Quantization More Than Noise to a Chat Model's Safety Behaviour? Attributing Behavioural Shifts with Matched Perturbations},
author={Kaya, Ege},
journal={arXiv preprint arXiv:2611.22186},
year={2026}
}