OpenAIがAIテキスト検出器を公開、正答率はわずか26%にとどまる

ChatGPT の登場以降、学校の教員やコンテンツ管理者が最も頭を悩ませてきたのは、目の前の文章が AI によるものかどうかを見抜くことでした。OpenAI はその対策として、自ら開発したテキスト分類器を公開し、不正の抑止を試みました。

しかし、その精度は実用には程遠いものでした。OpenAI 自身の英語テストセットによる検証では、AI が書いたテキストを正しく検知できた割合はわずか 26 パーセントにとどまり、人間が書いた文章を誤って AI 製と判定した割合も 9 パーセントに達しました。その結果、2023 年 7 月 20 日、精度の低さを理由にツール自体が提供終了となりました。

1000 文字未満はお手上げという現実

この分類器は、同じテーマで人間が書いた文章と各種 AI が生成した文章のペアを使い、言語モデルをファインチューニングして作られました。誤検知を減らすため、ツールが極めて強い確信を持った場合のみ AI による可能性が高いと表示する設定になっていました。

それでも制約は多すぎました。1000 文字未満の短い文章ではほとんど役に立たず、英語以外の言語やプログラミングコードを入力すると精度は大幅に低下しました。最初の 1000 個の素数リストのように、人間が書いても同じ結果になる予測性の高い文章も判別できませんでした。

さらに、ニューラルネットワーク特有の弱点として、未知のデータに対して誤った判定を自信満々に出してしまう現象も起きました。人間が文章に少し手を加えるだけで検知を回避できるため、攻防戦で検知側が圧倒的に不利な状態でした。

なぜ重要か

今回のツールの公開と撤退は、AI テキストを後から検知することの難しさを浮き彫りにしました。誤判定率が 9 パーセントもあるツールを教育現場や採用活動で使えば、無実の人間を不正者扱いしてしまうリスクが高すぎます。現時点では、AI 検知ツールを単独の判断基準として使うべきではありません。

AI で AI を暴くアプローチには構造的な限界があります。ユーザー側が同義語への置き換えや言い回しの調整を行うだけで、統計的な特徴は簡単に崩れてしまうからです。

OpenAI が実力不足を認めてツールを取り下げた判断は賢明だったと言えます。今後は、テキストの表面的な特徴を追うのではなく、より根本的な出所追跡技術や、画像や音声を中心とした生成フラグの標準化へと業界の舵が切られることになりそうです。