OLMo-Twin

इस रिपॉज़िटरी में पेपर का कोड शामिल है

From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
Ali Banaei, Muhammad Shahab Shahzad, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kostić
KTH Royal Institute of Technology. arXiv preprint (प्रकाशित होने वाला है)।

हमने OLMo 2 1B के आधिकारिक 50-बिलियन-टोकन मिड-ट्रेनिंग चरण को फिर से चलाया, जिसमें ट्रेनिंग स्ट्रीम में कुछ दस्तावेज़ डाले गए थे, जिन्हें मिलते-जुलते जोड़ों में से यादृच्छिक रूप से चुना गया था। उसी चरण के AI2 के जारी किए गए रन को नियंत्रण (control) के रूप में उपयोग किया गया है। दोनों रनों ने समान ट्रेनिंग डेटा को समान क्रम में पढ़ा, सिवाय उन स्थानों के जहाँ हमने दस्तावेज़ डाले थे। इसके बाद दोनों मॉडलों को AI2 के पोस्ट-ट्रेनिंग रेसिपी से गुज़ारा गया। प्रत्येक दस्तावेज़ को हर चरण पर दोनों मॉडलों के अंतर्गत स्कोर किया गया, ताकि हम यह माप सकें कि एक दस्तावेज़ पर ट्रेनिंग मॉडल को कितना बदलती है, और उस परिवर्तन का कितना हिस्सा मेंबरशिप-इन्फ़रेंस हमलों द्वारा पकड़ा जा सकता है।

प्रश्न

मेंबरशिप इन्फ़रेंस यह पूछता है कि कोई दिया गया दस्तावेज़ किसी मॉडल के ट्रेनिंग डेटा का हिस्सा था या नहीं। यह कॉपीराइट और डेटा प्रोवेनेंस, ट्रेनिंग-डेटा पारदर्शिता और बेंचमार्क संदूषण (contamination) के लिए महत्वपूर्ण है। भाषा मॉडलों पर मेंबरशिप-इन्फ़रेंस हमलों के अधिकांश मूल्यांकन सदस्यों और गैर-सदस्यों को बाद में एकत्र करते हैं, उदाहरण के लिए ट्रेनिंग कटऑफ से पहले और बाद में प्रकाशित दस्तावेज़। तब दोनों समूह सदस्यता के अलावा विषय, शैली और तिथि में भी भिन्न होते हैं। कोई हमला इस वितरण-परिवर्तन (distribution shift) को पकड़कर सफल हो सकता है। जब कोई हमला विफल होता है, तो यह नहीं दर्शाता कि ट्रेनिंग ने कोई निशान नहीं छोड़ा।

इन स्पष्टीकरणों को अलग करने के लिए, हमें एक ऐसी व्यवस्था चाहिए जिसमें सदस्यता ज्ञात हो, हर दस्तावेज़ गुण से स्वतंत्र रूप से निर्धारित की गई हो, और शेष ट्रेनिंग को अपरिवर्तित रखे। पेपर पूछता है: जब किसी वास्तविक दस्तावेज़ को किसी स्थापित ट्रेनिंग रेसिपी में एक बार शामिल किया जाता है, तो मॉडल कितना बदलता है, और उस परिवर्तन का कितना हिस्सा मौजूदा हमले उपयोग कर सकते हैं?

डिज़ाइन

                    AI2's released stage-1 checkpoint (4T tokens)
                                       |
            +--------------------------+---------------------------+
            |                                                      |
  AI2's released seed-42 run                     our re-run of the same stage:
  of the 50B-token stage                         same start, data and order;
  (23,852 updates)                               24,081 of 12,212,224 chunks replaced
            |                                    by copies of inserted documents
            v                                                      v
         control                                             treated model
            |                                                      |
            v                                                      v
   SFT -> DPO -> RLVR stage 1 -> RLVR stage 2  (same data, order and seeds for both)

• आधिकारिक प्रशिक्षण चरण का पुनः-संचालन। OLMo 2 1B को दो चरणों में प्रशिक्षित किया जाता है: लगभग 4 ट्रिलियन टोकन का प्रीट्रेनिंग, फिर 50-बिलियन-टोकन का मिड-ट्रेनिंग चरण। AI2 ने वह चेकपॉइंट जारी किया जिस पर मिड-ट्रेनिंग शुरू होती है, जिसमें उसकी ऑप्टिमाइज़र स्थिति भी शामिल है। AI2 ने मिड-ट्रेनिंग डेटा, उसका कॉन्फ़िगरेशन, और तीन डेटा-ऑर्डर सीड्स के लिए पूर्ण मिड-ट्रेनिंग रन भी जारी किए। हमने जारी किए गए चेकपॉइंट से शुरुआत की और AI2 के कॉन्फ़िगरेशन तथा बिना संशोधित OLMo ट्रेनर के साथ चरण को फिर से चलाया। हमने seed-42 डेटा ऑर्डर का ठीक-ठीक पुनर्निर्माण किया।
• मिलान किए गए जोड़े और एक सिक्का उछाल। हमने 7,814 दस्तावेज़ जोड़े बनाए। एक जोड़े के दोनों दस्तावेज़ एक ही स्रोत और समूह से आते हैं और लंबाई तथा कठिनाई पर मिलान किए गए हैं: प्रारंभिक चेकपॉइंट के अंतर्गत बिट्स प्रति बाइट, जो प्रशिक्षण से पहले मापा गया। प्रत्येक जोड़े के लिए, एक सिक्का उछालकर एक दस्तावेज़ को प्रविष्टि के लिए चुना गया; दूसरे को बाहर रखा गया। प्रविष्ट किए गए दस्तावेज़ों की प्रतियाँ चरण में फैले नियोजित स्थानों पर पूरे प्रशिक्षण खंडों को प्रतिस्थापित करती हैं: 12,414 प्रतियाँ 12,212,224 खंड स्थानों में से 24,081 को प्रतिस्थापित करती हैं (0.197%), और प्रविष्ट पाठ कुल 67.3 मिलियन टोकन जोड़ता है (स्ट्रीम का 0.135%)। हर अन्य स्थान पर AI2 का खंड होता है।
• नियंत्रण के रूप में जारी किया गया रन। AI2 के जारी किए गए seed-42 रन ने हर अन्य स्थान पर वही खंड उसी क्रम में देखे, इसलिए यह प्रतितथ्यात्मक के रूप में कार्य करता है। पेपर इसे twin कहता है। दोनों रन निष्पादन सेटिंग्स (GPU की संख्या, attention और sharding kernels) में भिन्न हैं, इसलिए वे बिटवाइज़ रूप से समान नहीं हैं। AI2 का seed-42069 रन (वही विधि भिन्न डेटा क्रम में) एक पुनः-प्रशिक्षित संदर्भ के रूप में कार्य करता है। जिस जारी किए गए चेकपॉइंट से चरण शुरू होता है वह एक कमज़ोर संदर्भ के रूप में कार्य करता है।
• दस्तावेज़ों को अनदेखा सत्यापित किया गया। अधिकांश दस्तावेज़ arXiv पेपर, विकिपीडिया पृष्ठ और StackExchange पोस्ट हैं जो मॉडल के डेटा कटऑफ के बाद प्रकाशित हुए, या विकिपीडिया पृष्ठ हैं जो प्रशिक्षण डेटा में स्नैपशॉट से अनुपस्थित हैं। तेरह समूह स्रोत, लंबाई, प्रतियों की संख्या (32 तक), प्रतियों का समय, और पाठ रूप (LaTeX-व्युत्पन्न बनाम PDF-व्युत्पन्न) में भिन्नता लाते हैं। प्रशिक्षण डेटा में मौजूद विकिपीडिया पृष्ठों के संपादित संस्करण पुनः-अनावरण मापते हैं, और सिंथेटिक पाठ विस्मय की एक श्रृंखला को कवर करते हैं। अनदेखा होने के लिए अभिप्रेत समूहों के उम्मीदवारों को जारी किए गए प्रीट्रेनिंग और मिड-ट्रेनिंग कॉर्पोरा (8.3 TiB) के सभी 13 घटकों के विरुद्ध विस्तृत रूप से खोजा गया। यह खोज 40 शब्दों या अधिक के हर शब्दशः ओवरलैप का पता लगाती है, और ऐसे ओवरलैप वाले उम्मीदवारों को बाहर रखा गया। खोज का अंतिम भाग जोड़े बनने के बाद पूरा हुआ। इसने ऐसे ओवरलैप वाले 156 और उम्मीदवार खोजे; उन्हें हटा दिया गया, और प्रशिक्षण से पहले उनके जोड़े फिर से भरे गए।
• पोस्ट-ट्रेनिंग। उपचारित मॉडल और नियंत्रण दोनों को OLMo 2 1B के लिए AI2 की पोस्ट-ट्रेनिंग विधि से गुज़ारा गया: पर्यवेक्षित फाइन-ट्यूनिंग (SFT), प्रत्यक्ष प्राथमिकता अनुकूलन (DPO), और सत्यापन योग्य पुरस्कारों के साथ सुदृढ़ीकरण अधिगम (RLVR) के दो चरण। दोनों मॉडलों को समान डेटा, क्रम और सीड्स मिले।
• मापन। 22,681 मूल्यांकन दस्तावेज़ (हर जोड़े के दोनों दस्तावेज़ और 7,053 दस्तावेज़ जो कभी प्रविष्ट नहीं किए गए) को टोकन दर टोकन स्कोर किया गया है:
  • उपचारित मॉडल, नियंत्रण, पुनः-प्रशिक्षित संदर्भ और प्रारंभिक चेकपॉइंट के अंतर्गत;
  • तीनों मिड-ट्रेनिंग रनों में से प्रत्येक द्वारा हर 1,000 अपडेट पर सहेजे गए 24 चेकपॉइंट;
  • दोनों शाखाओं के हर पोस्ट-ट्रेनिंग चरण के मॉडल।

मुख्य निष्कर्ष

जब तक अन्यथा न कहा जाए, नीचे दी गई संख्याएँ अनदेखा सत्यापित और एक बार प्रविष्ट किए गए 4,832 दस्तावेज़ जोड़ों के लिए हैं, जो नियंत्रण के विरुद्ध मापे गए हैं। पेपर विश्वास अंतराल और आगे की चेतावनियाँ देता है।