SecOPD: ऑन-पॉलिसी डिस्टिलेशन द्वारा अनुकूली प्रॉम्प्ट इंजेक्शन का शमन

Yibo Peng · Long Lian · David Wagner^† · Sizhe Chen^†

^† संयुक्त पर्यवेक्षण।

यह रिलीज़ पेपर के अंतिम फुल-रेस्पॉन्स KL सूत्रीकरण को लागू करती है, जिसे नो-पार्सिंग वैरिएंट के रूप में भी वर्णित किया गया है। स्टूडेंट मॉडल हमला किए गए संदर्भ में रोलआउट करता है। उसी बेस मॉडल से प्रारंभ किया गया क्लीन-कॉन्टेक्स्ट टीचर, युग्मित क्लीन संदर्भ के अंतर्गत स्टूडेंट के सैंपल किए गए टोकनों को स्कोर करता है। रिवर्स-KL सिग्नल प्रत्येक सैंपल किए गए प्रतिक्रिया टोकन पर लागू किया जाता है, जिसमें रीजनिंग टोकन भी शामिल हैं; पर्यवेक्षण स्पैन का चयन करने के लिए कोई </think> सीमा उपयोग नहीं की जाती है।

रिपॉजिटरी लेआउट

training/tinker/: फुल-रेस्पॉन्स KL प्रशिक्षण विधि और पेपर का सटीक कॉन्फ़िगरेशन।
scripts/: डेटा तैयारी और Tinker चेकपॉइंट निर्यात उपयोगिताएँ।
evaluation/sep/: SEP स्थैतिक और अनुकूली मूल्यांकनकर्ता।
evaluation/pismith/: PISmith प्रशिक्षण/मूल्यांकन ओवरले और लॉन्चर।
evaluation/agentdojo/: AgentDojo उपयोगिता और अटैक रनर।
evaluation/lm_eval/: MMLU-Pro, GPQA Diamond, GSM8K और Minerva MATH रनर।
docs/REPRODUCIBILITY.md: एंड-टू-एंड कमांड और प्रयोगात्मक सेटिंग्स।

त्वरित आरंभ

cp .env.example .env
python scripts/prepare_data.py
bash training/tinker/setup.sh
bash training/tinker/train_full_kl_qwen36.sh

सेटअप स्क्रिप्ट पिन किए गए अपस्ट्रीम Tinker Cookbook कमिट को चेकआउट करती है और इस रिपॉजिटरी में स्रोत ओवरले लागू करती है। यह मशीन पर किसी अन्य Tinker चेकआउट को संशोधित नहीं करती है।

Tinker चेकपॉइंट को Tinker Cookbook वेट मैपर के साथ परिवर्तित किया जाना चाहिए:

python scripts/export_tinker_adapter.py \
  --tinker-path 'tinker://RUN_ID:train:0/weights/final' \
  --output-dir adapters/secopd-full-kl

कच्चे Tinker एडॉप्टर को वेनिला PEFT के साथ मर्ज न करें। Qwen3.6 लीनियर-अटेंशन और lm_head कुंजी नामों को tinker_cookbook.weights द्वारा कार्यान्वित Tinker मैपिंग की आवश्यकता होती है।

मूल्यांकन कमांड, हार्डवेयर नोट्स और सटीक फ्रोज़न कॉन्फ़िगरेशन के लिए docs/REPRODUCIBILITY.md देखें।

सुरक्षा और आर्टिफैक्ट

कोई API कुंजी, मॉडल वेट, जनरेटेड आउटपुट, निजी पथ या प्रयोग लॉग ट्रैक नहीं किए जाते हैं। क्रेडेंशियल पर्यावरण चर से पढ़े जाते हैं और रनटाइम जज कॉन्फ़िगरेशन केवल अनदेखी runtime/ निर्देशिका के अंतर्गत लिखा जाता है।

थर्ड-पार्टी कोड

प्रशिक्षण ओवरले Thinking Machines Lab के Tinker Cookbook को लक्षित करता है। SEP मूल्यांकन Meta-SecAlign से व्युत्पन्न है, PISmith मूल्यांकन PISmith को लक्षित करता है, और AgentDojo मूल्यांकन AgentDojo को लक्षित करता है। सटीक अपस्ट्रीम संशोधन और लाइसेंस docs/THIRD_PARTY.md में सूचीबद्ध हैं।

उद्धरण

@article{peng2026secopd,
  title   = {{SecOPD}: Mitigating Adaptive Prompt Injections by On-Policy Distillation},
  author  = {Peng, Yibo and Lian, Long and Wagner, David and Chen, Sizhe},
  journal = {arXiv preprint arXiv:2608.21500},
  year    = {2026}
}

SecOPD