AIチェッカーの仕組みと精度 — 結果をどこまで信じるか

中心にあるのは「予測しやすさ」という考え方です。言語モデルは、ある文脈のあとに来る語をどれくらい高い確率で予測できるかを計算できます。AIが生成した文章は、モデルにとって予測しやすい語が続く傾向があります。生成そのものが「もっともらしい次の語」を選ぶ処理だからです。

人間の文章は、これに比べて予測から外れる箇所が多くなります。言い回しが不揃いだったり、唐突な語を選んだり、文の長さがばらついたりします。検出器はこの「外れ具合」の総量を見ています。

ここから2つのことが導かれます。第一に、検出器は誰が書いたかを知りません。文章の性質から推定しているだけです。第二に、予測しやすい文章を書く人間は高いスコアが出ます。これはバグではなく、仕組みそのものから来る性質です。

各社が掲げる精度は、それぞれ自社で用意したデータセットで測ったものです。使う文章が違えば数字は変わるため、A社の98%とB社の95%を並べて比較しても意味がありません。

精度を語るときは、最低でも2つの数字を分けて見る必要があります。ひとつは、AIが書いた文章を正しくAIと判定できた割合。もうひとつは、人間が書いた文章を誤ってAIと判定してしまった割合です。

後者が実務では決定的に重要です。前者を上げるだけなら、判定を厳しくすれば済みます。ただしその代償として、人間の文章がどんどん巻き込まれます。「精度99%」と書かれていても、それが誤検知率を無視した数字であれば、あなたの文章が巻き込まれる確率は下がりません。

検出方法はそれぞれ別のモデル、学習データと閾値で作られています。同じ文章でも、言語、長さ、ジャンル、翻訳・校正・編集の有無によって観測される信号は変わります。

そのため、結果を読むときは点数だけでなく、実際に分析した範囲、使用した方法のバージョン、検証状態、注目された箇所を一緒に確認する必要があります。別のツールと数字が違うこと自体は、どちらか一方が著者を知っているという意味ではありません。

OmniDetect は方法や構成の数を権威の代わりにしません。日本語の数値は、独立ホールドアウト評価が公開条件を満たしたときだけ公開します。それまでは今回の文章で観測した信号と限界として示します。

人間の文章が誤ってAIと判定されるケースには、はっきりした偏りがあります。

学術・専門文書。論文、報告書、ビジネス文書は定型表現が多く、書き手の癖が出にくい構造をしています。私たちの過去のベンチマークでも、人間の文章に対する誤検知はこの領域に集中していました。

非母語で書かれた文章。語彙の選択肢が限られると、文章の予測しやすさが上がります。スタンフォード大学の研究では、非母語話者の英語文章が不当に高く判定される傾向が記録されています。これは検出器の公平性に関わる問題として指摘されています。

校正ツールを通した文章。文法校正を通すと表現がならされ、AI的な特徴に寄ります。自分で書いた文章でも、通した後は判定が変わることがあります。

日本語をはじめとする非英語。検出エンジンは英語のデータで最も鍛えられており、他言語では精度が落ちます。日本語で判定が割れた場合は「判断が難しい文章である」というシグナルとして扱うのが実務的です。

検出結果に必要なのは、権威的な一つの数字ではありません。どの範囲を読み、何が観測され、どの箇所が注目され、方法がどこまで検証されているかを確認できることです。

方法を増やしても、同じ種類の文章を同じ理由で誤判定する可能性は残ります。数や合議だけで誤検知が消えるとは言えません。特に学術文書、非母語の文章、校正後の文章では慎重さが必要です。

だから OmniDetect は、判断しにくい結果を無理に精密な数値へ丸めず、不一致や未検証の状態も表示します。最終的な判断は、下書き、変更履歴、引用元や本人の説明など、検出器には見えない事実と合わせて行う必要があります。

2026年8月2日から、EU AI法 第50条により、生成AIの提供者は出力に機械可読なマークを付けることが求められます。将来的には来歴情報が埋め込まれる方向に進みます。

ただしマーキングは検出とは別の仕組みです。マーキングは生成元で付与される来歴情報、検出は第三者が事後に行う統計的推論です。前者のほうが原理的に確実ですが、EU域外のモデル、自前でホストされたモデル、法適用前に生成された文章にはマークがありません。テキストのウォーターマークは言い換えで失われやすいという限界もあります。

そして決定的な点として、マークは「機械が作ったもの」しか証明できません。人間が書いた文章には提示できるマークがそもそも存在しないため、誤って疑われた側を救うことはできません。検出が引き続き必要になるのは、まさにこの隙間です。