carol-long/cc_watermarkImplementazione di watermarking testuale senza distorsioni basato sull'accoppiamento ottimale per incorporare segnali rilevabili nel testo generato da LLM, preservandone la qualità.
Il codice ufficiale di Accoppiamenti Ottimali per Watermarking del Testo Senza Distorsioni
I modelli linguistici di grandi dimensioni (LLM) sono ora in grado di produrre testo indistinguibile da quello generato da esseri umani. Ciò ha alimentato lo sviluppo di watermark che imprimono un "segnale" nel testo generato da LLM con una perturbazione minima dell'output di un LLM. Questo articolo fornisce un'analisi del watermarking del testo in un contesto one-shot. Attraverso la lente del test di ipotesi con informazioni laterali, formuliamo e analizziamo il compromesso fondamentale tra potenza di rilevamento del watermark e distorsione nella qualità del testo generato. Sosteniamo che un componente chiave nella progettazione del watermark sia la generazione di un accoppiamento tra le informazioni laterali condivise con il rilevatore di watermark e una partizione casuale del vocabolario dell'LLM. La nostra analisi identifica la strategia ottimale di accoppiamento e randomizzazione sotto la distribuzione del token successivo dell'LLM nel caso peggiore che soddisfa un vincolo di min-entropia. Forniamo un'espressione in forma chiusa del tasso di rilevamento risultante nello schema proposto e quantifichiamo il costo in senso max-min. Infine, confrontiamo numericamente lo schema proposto con l'ottimo teorico.
