OpenAI、AI生成テキスト検出ツールを「精度不足」でひっそり終了

2023年1月、教育現場でChatGPTを使ったレポート作成が物議を醸すなか、OpenAIはAI生成テキストを判別するための公式ツール「AI Classifier」を鳴り物入りで公開しました。

しかし登場からわずか半年、同社はそのツールを人知れず終了させました。新たなプレスリリースなどは出さず、公開当初の公式ブログ記事に追記する形で「精度の低さ」を理由に挙げ、7月20日にツールの提供を停止しました。現在リンクは利用できなくなっています。

当初から課題だった精度の低さ

実際のところ、このツールは公開当初から性能不足が指摘されていました。

OpenAI自身の検証データによると、英語のテストセットにおいてAIが書いた文章を正しく判定できた確率はわずか26パーセントにとどまっていました。つまり約4分の3のAI生成テキストを見逃していた計算になります。

さらに深刻だったのは誤判定の多さです。人間が書いた文章を誤って「AI生成である可能性が高い」と判定してしまう割合が9パーセントもありました。

くわえて、判定には最低でも1000文字の入力が必要で、短い文章では機能せず、英語以外の言語や学習データから外れた文体ではさらに精度が落ちるという厳しい制約を抱えていました。

検出から「電子透かし・出所証明」へ

OpenAIは公開当初、スタンフォード大学やジョージタウン大学の研究者と共同で論文を発表し、生成AIによる偽情報の拡散や不正行為のリスクに警鐘を鳴らしていました。

教育界を中心にAI検知への需要は爆発的に高まり、サードパーティ製の検出サービスが乱立する事態となっていましたが、本家であるOpenAIのツールすら実用に耐えうる水準には達しませんでした。

同社は今後、フィードバックを取り入れながらテキストのより効果的な出所証明（プロベナンス）技術の研究を進めるとしています。また、DALL-Eなどの画像や音声コンテンツについてもAI生成かどうかを判別する仕組みの開発に注力すると表明していますが、改良版のリリース時期は明かしていません。

なぜ重要か

開発元であるOpenAIですら自社製AIのテキストを識別できないという事実は、現在のAI検知技術の限界を明確に突きつけています。

教育関係者や企業の採用担当者にとって、現在出回っている「AI検知ツール」に頼るのを今すぐ見直すべき明確なシグナルと言えます。本家ですら正答率が26パーセント、人間の文章をAIと誤認する確率が9パーセントもある以上、他社ツールによる判定結果で生徒やライターを不正認定することは極めて危険です。

冤罪を生むリスクを考えれば、OpenAIが中途半端なツールをこれ以上放置せず撤退を決めたのは賢明な判断だったと評価できます。ただし、派手な告知を避けてブログの追記だけでひっそりと幕を引いた姿勢には、解決策を見いだせていない苦しさが透けて見えます。

文章のクセを後から分析してAIかどうかを見破る手法は、すでに限界を迎えているように見えます。今後はテキストそのものを解析するのではなく、生成時に電子透かしを埋め込むような根本的なアプローチへの転換が業界全体に求められることになりそうです。