検出器の精度はどう測るか —— 分類器の限界と評価の科学

現在主流の商用検出器の多くは「分類器」です。人間と AI の文章例を大量に学習し、その境界線を統計的に引きます。訓練データに近い文章には正確に働きますが、訓練分布の外側——別の言語、別の文体、新しい生成モデル——では、その境界線がそのまま成り立つ保証はありません。

これを「分布外退化」と呼びます。検出器の公式精度は、たいてい訓練分布に近い条件で測られた数字です。

Dugan らの RAID(ACL 2024, arXiv 2405.07940)は、検出器の頑健性を測る大規模なベンチマークです。言い換えや文字置換などの対抗的な撹乱を加えたとき、多くの検出器の精度が大きく落ちることを示しました。

「正確なはずの検出器」が、少し文章を加工しただけで機能しなくなる——これは評価条件を変えただけで起きることです。

Liang らの研究「GPT detectors are biased against non-native English writers」(Patterns 2023, arXiv 2304.02819)は、91 篇の TOEFL 非母語作文と 88 篇の米国八年生の作文を 7 つの商用検出器で比較しました。非母語話者の作文は約 61% が AI と誤判定されたのに対し、母語話者の作文ではほぼ誤判定がありませんでした。

注意:この 61% は「非母語者の英語作文」という特定の場面での誤判定率であり、あらゆる文章に通用する一般的な誤検知率ではありません。

Turnitin は公式に「AI 率が 20% を超える文档について、文档レベルの誤検知率は 1% 未満」と述べています。この数字には「AI 率 >20% の文档に限る」という閾値の限定がついています。AI 率が低い文章(=最も判定が難しい文章)は、この 1% の適用外です。

「FPR 1% 未満」だけが一人歩きすることがありますが、限定を外すと数字の意味が変わります。引用するときは限定ごと読むのが正確な読み方です。