透かし(ウォーターマーク)の可能性と限界 —— 生成側の協力が必要な検出

Kirchenbauer らの研究「A Watermark for Large Language Models」(ICML 2023, arXiv 2301.10226)が示したのは、生成時に語彙を「グリーンリスト」とそれ以外に分け、グリーンリストの語元をほんの少し選びやすくする方式です。人間の読者には見えませんが、統計的には検出可能な偏りが文章に残ります。

文章の中に「この文章はこのモデルから生まれた」という証跡を、生成の過程で埋め込む——発想は検出の問題を「事後の推定」から「生成時の刻印」に変えます。

水印は検出側が一方的に実装できるものではありません。生成するモデルの側が生成時に埋め込んでくれなければ、測るべき透かしは存在しません。主要なモデル提供元がどこまで本格導入するかは、公開情報の範囲でも流動的です。

つまり水印は「将来の答え」でありうるものの、「今日使える答え」ではありません。

水印にも弱点があります。文章を言い換えたり、いったん別の言語に翻訳して戻したりすると、語元レベルの統計的偏りは洗い流されてしまいます。理論限界の研究が示す言い換え攻撃の普遍性は、水印にも及びます。

水印が全モデルに行き渡れば、検出の信頼性は今日より高まるでしょう。しかし、それは私たち検出側がコントロールできることではありません。私たちができるのは、今日存在する検出の限界を測って公開し、ユーザーに「この結果はどこまで信じられるか」を示すことです。