検出器の精度はどう測るか —— 分類器の限界と評価の科学
この記事で分かること:市販の検出器の「精度」がどう測られているのか、なぜ言語や文体が変わるとその数字が成り立たなくなるのか。そして、精度主張を読むときに確認すべき四つの問いです。
更新日:2026年8月20日
分類器族:訓練データの内側でしか正確でない
解釈現在主流の商用検出器の多くは「分類器」です。人間と AI の文章例を大量に学習し、その境界線を統計的に引きます。訓練データに近い文章には正確に働きますが、訓練分布の外側——別の言語、別の文体、新しい生成モデル——では、その境界線がそのまま成り立つ保証はありません。
これを「分布外退化」と呼びます。検出器の公式精度は、たいてい訓練分布に近い条件で測られた数字です。
RAID:対抗的な撹乱への強さを測った最大規模の基準
実測Dugan らの RAID(ACL 2024, arXiv 2405.07940)は、検出器の頑健性を測る大規模なベンチマークです。言い換えや文字置換などの対抗的な撹乱を加えたとき、多くの検出器の精度が大きく落ちることを示しました。
「正確なはずの検出器」が、少し文章を加工しただけで機能しなくなる——これは評価条件を変えただけで起きることです。
Liang et al.:非母語話者への偏り
実測Liang らの研究「GPT detectors are biased against non-native English writers」(Patterns 2023, arXiv 2304.02819)は、91 篇の TOEFL 非母語作文と 88 篇の米国八年生の作文を 7 つの商用検出器で比較しました。非母語話者の作文は約 61% が AI と誤判定されたのに対し、母語話者の作文ではほぼ誤判定がありませんでした。
注意:この 61% は「非母語者の英語作文」という特定の場面での誤判定率であり、あらゆる文章に通用する一般的な誤検知率ではありません。
Turnitin の公式数字を正確に読む
実測Turnitin は公式に「AI 率が 20% を超える文書について、文書レベルの誤検知率は 1% 未満」と述べています。この数字には「AI 率 >20% の文書に限る」という閾値の限定がついています。AI 率が低い文章(=最も判定が難しい文章)は、この 1% の適用外です。
「FPR 1% 未満」だけが一人歩きすることがありますが、限定を外すと数字の意味が変わります。引用するときは限定ごと読むのが正確な読み方です。
実測で見る:私たちの日本語マトリクス(221篇・FINAL)
実測過去の内部評価では、凍結した日本語コーパスを用いて複数の方法を比較しました。ただし、その結果は現在の本番経路に対する独立ホールドアウト精度として公開できる状態ではありません。
現在の数値主張は、コーパス、方法バージョン、閾値、検証主体、対象場面を含むリリース記録がそろうまで保留しています。公開ベンチマークでは、確認済みの方法とデータ範囲だけを区別して表示します。
精度主張を読む四つの問い
分母は何か(どんなコーパスで測ったか)、何を「正解」と数えたか(閾値)、誰が測ったか(自社か第三者か)、その数字はあなたの言語で測られたものか——この四つを確認してください。
OmniDetectの公開ページでは、確認済みの方法・データ範囲と、まだ公開条件を満たしていない数値を区別しています。