統計的検出の仕組み —— perplexity と burstiness が見ているもの

大規模言語モデルは「次に来るべき最もらしい語」を選んで文章を生成します。その結果、AIが書いた文章は統計的に「予測しやすい」文章になりやすい——この性質を測るのが perplexity(困惑度)です。文章の perplexity が低い(=予測しやすい)ほど、AI生成的だと判定されます。

人間の文章は語彙の選択がもっと不規則で、時に意外な言い回しを含みます。この「意外性」こそが人間らしさの統計的な手がかりです。

もう一つの手がかりが burstiness(バースト性)です。人間の文章は文の長さや構造に強い凹凸があります——短い文のあとに長い文が来たり、突然の比喩が入ったりします。AIの文章は文長も構造も整いすぎている傾向があります。

丁寧に推敲された文章ほど凹凸がならされるため、「よく書けた文章」ほどAI的な特徴に近づくという、理不尽な性質がここにあります。

Gehrmann, Strobelt & Rush の GLTR(ACL 2019 Demo, arXiv 1906.04043)は、文中の各語が「その位置でどれくらい予測しやすいか」を色分けして可視化したツールです。統計的検出が何を見ているかを、最も分かりやすく示した研究の一つです。

この研究では、GLTR のような補助表示を使うと、人間が偽テキストを見抜く精度が 54% から 72% に向上したと報告されています。検出器の「見方」を人間に教えることにも意味がある、ということです。

ここからは推断です:日本の作文教育は起承転結・PREP法・敬語の定型句など、「予測しやすい文章」を良い文章として教えてきました。統計的検出器の手がかりはまさにその予測しやすさなので、型どおりに丁寧に書いた日本語の文章は、構造上AI判定が出やすくなります。

私たちの日本語ベンチマークでも、人間の文章に対する誤検知は学術・専門的な定型文に集中していました。これは私たちの測定での観察であり、全ての日本人の文章に一般化はできません。