UpSafe℃: बड़े भाषा मॉडलों में नियंत्रणीय सुरक्षा के लिए अपसाइक्लिंग (NeurIPS 2026)

UpSafe℃ (NeurIPS 2026) का आधिकारिक कार्यान्वयन। UpSafe भाषा मॉडल की चयनित परतों में सुरक्षा विशेषज्ञ जोड़ता है और उन्हें कब सक्रिय करना है यह सीखने के लिए दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है। एक सुरक्षा तापमान τ बिना पुनः प्रशिक्षण के अनुमान के समय राउटिंग को समायोजित करता है।

UpSafe: सुरक्षा-महत्वपूर्ण परत स्कैन, दो-चरणीय प्रशिक्षण, और अनुमान-समय सुरक्षा नियंत्रण

त्वरित शुरुआत

सभी कमांड रिपॉज़िटरी रूट से चलाएँ। प्रशिक्षण के लिए CUDA GPU आवश्यक हैं; प्रदान की गई कॉन्फ़िगरेशन DeepSpeed ZeRO-3 का उपयोग करती हैं। प्रशिक्षण से पहले बेस चेकपॉइंट को models/Llama-3.1-8B-Instruct में डाउनलोड करें।

conda create -n upsafe-train python=3.10 -y
conda activate upsafe-train
bash setup/init_env.sh

# चरण 1: सुरक्षा विशेषज्ञों और राउटरों को प्रशिक्षित करें।
llamafactory-cli train upcycle/configs/llama3.1-8b/s1.yaml

# चरण 2: विशेषज्ञों को फ़्रीज़ करें और हानिकारक तथा सौम्य उदाहरणों पर राउटरों को प्रशिक्षित करें।
llamafactory-cli train upcycle/configs/llama3.1-8b/s2.yaml

# अनुमान-समय सुरक्षा नियंत्रण के साथ चरण-2 एडाप्टर निर्यात करें।
python upcycle/convert_model.py \
  --adapter_path outputs/llama3.1-8b_s2 \
  --output_path models/Llama-3.1-8B-Instruct-UpSafe --arch llama

इंस्टॉलर सक्रिय प्रशिक्षण वातावरण में PEFT और Transformers को पैच करता है और मूल फ़ाइलों को setup/backups/ के अंतर्गत सहेजता है। एक समर्पित वातावरण का उपयोग करें।

मूल्यांकन

मर्ज किए गए मॉडल के लिए एक अलग वातावरण का उपयोग करें:

conda create -n upsafe-infer python=3.10 -y
conda activate upsafe-infer
pip install -r requirements_infer.txt

export JUDGE_API_KEY="your-api-key"
export JUDGE_BASE_URL="https://api.openai.com/v1"
export JUDGE_MODEL="gpt-4o"

bash eval/run_eval.sh models/Llama-3.1-8B-Instruct-UpSafe llama8b_upsafe

डिफ़ॉल्ट τ = 0.5 है। कई सेटिंग्स का मूल्यांकन करने के लिए TAUS="0.2 0.5 0.8" सेट करें, या eval/QA_gen.py में --tau पास करें। उच्च मान सुरक्षा विशेषज्ञों के पक्ष में होते हैं और सौम्य प्रॉम्प्ट पर इनकार बढ़ा सकते हैं। चेकपॉइंट फ़ील्ड safe_tempature संगतता के लिए अपनी मूल वर्तनी बनाए रखता है।

कोड और डेटा

निर्देशिका	सामग्री
`scan/`	सुरक्षा-महत्वपूर्ण परत प्रोबिंग और रैंकिंग
`upcycle/`	MoE एडाप्टर, मॉडल निर्यात, और प्रशिक्षण कॉन्फ़िगरेशन
`eval/`	प्रतिक्रिया निर्माण और सुरक्षा/इनकार निर्णायक
`data/eval/`	JBB, StrongREJECT, WildChat, WildJailbreak, और XSTest प्रॉम्प्ट
`LLaMA-Factory/`	प्रशिक्षण फ़्रेमवर्क और STAR-1 प्रशिक्षण डेटा

कॉन्फ़िगरेशन Llama-3.1-8B, Qwen2.5-7B/14B, और उनके R1-Distill रूपों को कवर करती हैं। परत स्कैन, मॉडल पथ, प्रति-मॉडल कॉन्फ़िगरेशन, और व्यक्तिगत मूल्यांकन कमांड के लिए पुनरुत्पादन मार्गदर्शिका देखें।

उद्धरण

@InProceedings{Sun_2026_NeurIPS,
    author    = {Sun, Yuhao and Yu, Lingyun and Xu, Zhuoer and Yang, Kun and Cui, Shiwen and Zhang, Yongdong and Xie, Hongtao},
    title     = {UpSafe{$^\circ$C}: Upcycling for Controllable Safety in Large Language Models},
    booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
    year      = {2026}
}

आभार और लाइसेंस

LLaMA-Factory, PEFT, और Transformers पर निर्मित, जिसमें STAR-1 डेटा का उपयोग किया गया है। कोड Apache-2.0 के अंतर्गत लाइसेंस प्राप्त है। तृतीय-पक्ष कोड, डेटासेट, और बेस मॉडल अपने-अपने लाइसेंस बनाए रखते हैं; LEGAL.md देखें।

UpSafe