用于无失真文本水印的最优耦合的官方代码
大型语言模型(LLM)现在能够生成与人类内容无法区分的文本。 这推动了水印技术的发展,水印通过在 LLM 生成的文本中印记"信号",同时对 LLM 输出的扰动最小。 本文对一次性(one-shot)场景下的文本水印进行了分析。 通过带辅助信息的假设检验视角,我们系统地阐述并分析了水印检测能力与生成文本质量失真之间的基本权衡。 我们认为水印设计的一个关键组成部分是在与水印检测器共享的辅助信息与 LLM 词汇表的随机划分之间生成一种耦合。 我们的分析确定了在满足最小熵约束的最坏情况 LLM 下一词元分布下的最优耦合与随机化策略。 我们给出了所提方案下检测率的闭式表达式,并从最大-最小意义上量化了代价。 最后,我们将所提方案与理论最优方案进行了数值比较。