UpSafe℃: إعادة التدوير من أجل سلامة قابلة للتحكم في النماذج اللغوية الكبيرة (NeurIPS 2026)

التنفيذ الرسمي لـ UpSafe℃ (NeurIPS 2026). يضيف UpSafe خبراء سلامة إلى طبقات مختارة من نموذج لغوي ويستخدم إجراء تدريب من مرحلتين لتعلّم متى يتم تفعيلهم. تضبط حرارة السلامة τ التوجيه في وقت الاستدلال دون إعادة تدريب.

UpSafe: مسح الطبقات الحرجة للسلامة، التدريب على مرحلتين، والتحكم في السلامة أثناء الاستدلال

البدء السريع

نفّذ جميع الأوامر من جذر المستودع. يتطلب التدريب وحدات معالجة رسومات CUDA؛ تستخدم التكوينات المقدمة DeepSpeed ZeRO-3. نزّل نقطة التحقق الأساسية إلى models/Llama-3.1-8B-Instruct قبل التدريب.

conda create -n upsafe-train python=3.10 -y
conda activate upsafe-train
bash setup/init_env.sh

# المرحلة 1: تدريب خبراء السلامة والموجّهات.
llamafactory-cli train upcycle/configs/llama3.1-8b/s1.yaml

# المرحلة 2: تجميد الخبراء وتدريب الموجّهات على أمثلة ضارة وحميدة.
llamafactory-cli train upcycle/configs/llama3.1-8b/s2.yaml

# تصدير محوّل المرحلة الثانية مع التحكم في السلامة أثناء الاستدلال.
python upcycle/convert_model.py \
  --adapter_path outputs/llama3.1-8b_s2 \
  --output_path models/Llama-3.1-8B-Instruct-UpSafe --arch llama

يقوم المثبّت بتعديل PEFT وTransformers في بيئة التدريب النشطة ويحفظ الملفات الأصلية تحت setup/backups/. استخدم بيئة مخصصة.

التقييم

استخدم بيئة منفصلة للنموذج المدمج:

conda create -n upsafe-infer python=3.10 -y
conda activate upsafe-infer
pip install -r requirements_infer.txt

export JUDGE_API_KEY="your-api-key"
export JUDGE_BASE_URL="https://api.openai.com/v1"
export JUDGE_MODEL="gpt-4o"

bash eval/run_eval.sh models/Llama-3.1-8B-Instruct-UpSafe llama8b_upsafe

القيمة الافتراضية هي τ = 0.5. اضبط TAUS="0.2 0.5 0.8" لتقييم إعدادات متعددة، أو مرّر --tau إلى eval/QA_gen.py. القيم الأعلى تفضّل خبراء السلامة وقد تزيد الرفض عند المطالبات الحميدة. يحتفظ حقل نقطة التحقق safe_tempature بتهجئته الأصلية للتوافق.

الشيفرة والبيانات

الدليل	المحتويات
`scan/`	استكشاف وترتيب الطبقات الحرجة للسلامة
`upcycle/`	محوّلات MoE، وتصدير النموذج، وتكوينات التدريب
`eval/`	توليد الاستجابات وحكّام السلامة/الرفض
`data/eval/`	مطالبات JBB وStrongREJECT وWildChat وWildJailbreak وXSTest
`LLaMA-Factory/`	إطار التدريب وبيانات تدريب STAR-1

تغطي التكوينات Llama-3.1-8B وQwen2.5-7B/14B ومتغيرات R1-Distill الخاصة بها. راجع دليل إعادة الإنتاج لمسح الطبقات ومسارات النماذج وتكوينات كل نموذج وأوامر التقييم الفردية.

الاستشهاد

@InProceedings{Sun_2026_NeurIPS,
    author    = {Sun, Yuhao and Yu, Lingyun and Xu, Zhuoer and Yang, Kun and Cui, Shiwen and Zhang, Yongdong and Xie, Hongtao},
    title     = {UpSafe{$^\circ$C}: Upcycling for Controllable Safety in Large Language Models},
    booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
    year      = {2026}
}

شكر وتقدير والترخيص

مبني على LLaMA-Factory وPEFT وTransformers، باستخدام بيانات STAR-1. الشيفرة مرخّصة بموجب Apache-2.0. تحتفظ شيفرة الطرف الثالث ومجموعات البيانات والنماذج الأساسية بتراخيصها الخاصة؛ راجع LEGAL.md.

UpSafe