विकृति-मुक्त टेक्स्ट वॉटरमार्किंग के लिए इष्टतम युग्मन

विकृति-मुक्त टेक्स्ट वॉटरमार्किंग के लिए इष्टतम युग्मन का आधिकारिक कोड

सार

बड़े-भाषा मॉडल (LLMs) अब ऐसा टेक्स्ट तैयार करने में सक्षम हैं जो मानव-जनित सामग्री से अप्रभेद्य है। इसने वॉटरमार्क के विकास को बढ़ावा दिया है जो LLM के आउटपुट में न्यूनतम व्यवधान के साथ LLM-जनित टेक्स्ट में एक 'सिग्नल' अंकित करते हैं। यह पेपर एक-शॉट सेटिंग में टेक्स्ट वॉटरमार्किंग का विश्लेषण प्रस्तुत करता है। साइड जानकारी के साथ परिकल्पना परीक्षण के दृष्टिकोण से, हम वॉटरमार्क पहचान क्षमता और उत्पन्न पाठीय गुणवत्ता में विकृति के बीच मौलिक व्यापार-संबंध को सूत्रबद्ध और विश्लेषित करते हैं। हम तर्क देते हैं कि वॉटरमार्क डिज़ाइन में एक प्रमुख घटक वॉटरमार्क डिटेक्टर के साथ साझा की गई साइड जानकारी और LLM शब्दावली के एक यादृच्छिक विभाजन के बीच युग्मन उत्पन्न करना है। हमारा विश्लेषण सबसे खराब स्थिति वाली LLM अगले-टोकन वितरण के अंतर्गत इष्टतम युग्मन और यादृच्छिकीकरण रणनीति की पहचान करता है, जो न्यूनतम-एंट्रॉपी बाधा को संतुष्ट करता है। हम प्रस्तावित योजना के अंतर्गत परिणामी पहचान दर की एक बंद-रूप अभिव्यक्ति प्रदान करते हैं और मैक्स-मिन दृष्टि से लागत को मापते हैं। अंत में, हम प्रस्तावित योजना की सैद्धांतिक इष्टतम से संख्यात्मक रूप से तुलना करते हैं।