AIチェッカーの仕組みと精度 — なぜ1つのエンジンでは足りないのか
AIチェッカーは、文章を読んで意味を理解しているわけではありません。統計的な性質を測っているだけです。この違いを理解しておくと、出てきた数字をどこまで信じるべきかが判断できるようになります。仕組み、精度、限界の順に整理します。
最終更新 2026年7月28日
AIチェッカーは何を測っているのか
中心にあるのは「予測しやすさ」という考え方です。言語モデルは、ある文脈のあとに来る語をどれくらい高い確率で予測できるかを計算できます。AIが生成した文章は、モデルにとって予測しやすい語が続く傾向があります。生成そのものが「もっともらしい次の語」を選ぶ処理だからです。
人間の文章は、これに比べて予測から外れる箇所が多くなります。言い回しが不揃いだったり、唐突な語を選んだり、文の長さがばらついたりします。検出器はこの「外れ具合」の総量を見ています。
ここから2つのことが導かれます。第一に、検出器は誰が書いたかを知りません。文章の性質から推定しているだけです。第二に、予測しやすい文章を書く人間は高いスコアが出ます。これはバグではなく、仕組みそのものから来る性質です。
精度の数字をどう読むか
各社が掲げる精度は、それぞれ自社で用意したデータセットで測ったものです。使う文章が違えば数字は変わるため、A社の98%とB社の95%を並べて比較しても意味がありません。
精度を語るときは、最低でも2つの数字を分けて見る必要があります。ひとつは、AIが書いた文章を正しくAIと判定できた割合。もうひとつは、人間が書いた文章を誤ってAIと判定してしまった割合です。
後者が実務では決定的に重要です。前者を上げるだけなら、判定を厳しくすれば済みます。ただしその代償として、人間の文章がどんどん巻き込まれます。「精度99%」と書かれていても、それが誤検知率を無視した数字であれば、あなたの文章が巻き込まれる確率は下がりません。
なぜエンジンによって結果が変わるのか
検出エンジンはそれぞれ別のモデルと基準で作られています。学習に使ったデータも、閾値の置き方も違います。したがって同じ文章を入れても、判定が一致するとは限りません。
これは推測ではなく、実測できる事実です。私たちが実際のユーザーの文章287件で計測したところ、3つの商用エンジンの判定ラベルが一致しなかったケースは66.6%、スコアの開きは平均で55.9ポイント（100点満点）ありました。この数字はエンジン構成ごとに分けて集計しており、異なる構成をまとめた平均ではありません。同じ文章に対して、あるエンジンが10%、別のエンジンが70%と出すことが日常的に起きています。
この数字は、私たちにとって都合の良い数字ではありません。「AI検出はその程度のものなのか」と読むこともできるからです。それでも公開しているのは、これが単一スコアを結論にすべきでない最大の理由だからです。1つのツールで判定して終わりにするということは、たまたま引いた1つのエンジンの癖に結果を委ねているのと同じです。
誤検知が集中する場所
人間の文章が誤ってAIと判定されるケースには、はっきりした偏りがあります。
学術・専門文書。論文、報告書、ビジネス文書は定型表現が多く、書き手の癖が出にくい構造をしています。私たちの過去のベンチマークでも、人間の文章に対する誤検知はこの領域に集中していました。
非母語で書かれた文章。語彙の選択肢が限られると、文章の予測しやすさが上がります。スタンフォード大学の研究では、非母語話者の英語文章が不当に高く判定される傾向が記録されています。これは検出器の公平性に関わる問題として指摘されています。
校正ツールを通した文章。文法校正を通すと表現がならされ、AI的な特徴に寄ります。自分で書いた文章でも、通した後は判定が変わることがあります。
日本語をはじめとする非英語。検出エンジンは英語のデータで最も鍛えられており、他言語では精度が落ちます。日本語で判定が割れた場合は「判断が難しい文章である」というシグナルとして扱うのが実務的です。
合議が解決すること、しないこと
複数のエンジンを同時に走らせると、単一エンジンの癖に結果が左右されにくくなります。あるエンジンが苦手とする文章を、別のエンジンが正しく判定する可能性があるためです。3つが揃って同じ判定を出したときの信頼度は、どれか1つのスコアより明らかに高くなります。
ただし、合議はすべてを解決するわけではありません。3つのエンジンが同じ理由で同じ間違いをすることはあり得ます。特に、上に挙げた誤検知が集中する領域では、複数のエンジンが揃って人間の文章を高く判定する可能性があります。
だからこそ私たちは、合議の結論だけでなく、エンジン同士が食い違ったという事実もそのまま表示しています。数字を1つに丸めてしまうと、「判断が割れている」という最も有用な情報が消えてしまうためです。曖昧な文章は、曖昧なものとして見えるべきだと考えています。
検出とマーキングは別の仕組みです
2026年8月2日から、EU AI法 第50条により、生成AIの提供者は出力に機械可読なマークを付けることが求められます。将来的には来歴情報が埋め込まれる方向に進みます。
ただしマーキングは検出とは別の仕組みです。マーキングは生成元で付与される来歴情報、検出は第三者が事後に行う統計的推論です。前者のほうが原理的に確実ですが、EU域外のモデル、自前でホストされたモデル、法適用前に生成された文章にはマークがありません。テキストのウォーターマークは言い換えで失われやすいという限界もあります。
そして決定的な点として、マークは「機械が作ったもの」しか証明できません。人間が書いた文章には提示できるマークがそもそも存在しないため、誤って疑われた側を救うことはできません。検出が引き続き必要になるのは、まさにこの隙間です。