carol-long/cc_watermark
Der offizielle Code von Optimale Kopplungen für verzerrungsfreies Text-Wasserzeichen
Große Sprachmodelle (LLMs) sind inzwischen in der Lage, Texte zu erzeugen, die von menschlich generierten Inhalten nicht zu unterscheiden sind. Dies hat die Entwicklung von Wasserzeichen vorangetrieben, die ein „Signal“ in LLM-generierten Texten verankern, wobei die Ausgabe eines LLM nur minimal verändert wird. Dieses Papier liefert eine Analyse von Text-Wasserzeichen in einem One-Shot-Setting. Aus der Perspektive des Hypothesentests mit Seiteninformationen formulieren und analysieren wir den grundlegenden Zielkonflikt zwischen der Erkennungsstärke von Wasserzeichen und der Verzerrung der erzeugten Textqualität. Wir argumentieren, dass eine Schlüsselkomponente beim Wasserzeichen-Design die Erzeugung einer Kopplung zwischen der mit dem Wasserzeichendetektor geteilten Seiteninformation und einer zufälligen Partition des LLM-Vokabulars ist. Unsere Analyse identifiziert die optimale Kopplung und Randomisierungsstrategie unter der Worst-Case-Verteilung des nächsten LLM-Tokens, die eine Min-Entropie-Bedingung erfüllt. Wir liefern einen geschlossenen Ausdruck für die resultierende Erkennungsrate im vorgeschlagenen Schema und quantifizieren die Kosten im Max-Min-Sinn. Abschließend vergleichen wir das vorgeschlagene Schema numerisch mit dem theoretischen Optimum.
