AI検出ツールに非英語話者への偏見、TOEFL作文の半数以上を誤判定

英語を母国語としない人が何時間もかけて書き上げたレポートや志望動機書が、AI検知ツールによって「不正」の烙印を押されてしまうリスクが浮き彫りになりました。

学術誌『Patterns』に掲載されたスタンフォード大学のジェームズ・ゾウ助教授らの研究によると、主要なAIテキスト検知ツールには、英語非母国語話者に対する深刻な偏見が組み込まれていることがわかりました。

判定ソフトがTOEFLの作文を「AI製」と誤判定

研究チームは、非母国語話者向け英語テスト「TOEFL」のエッセイ91本を、普及している7種類の代表的なGPT検知ソフトに読み込ませました。

結果は衝撃的でした。半分以上のエッセイがAIによって書かれたものだと誤判定され、あるツールに至っては全体の98%をAI製と判定しました。

その一方で、米国の母国語話者である中学2年生が書いた作文をテストしたところ、同じ検知ツールは90%以上を正しく人間が書いたものと識別しました。

一部の検知ツール提供者は自社の精度が99%に達するとアピールしていますが、研究者らはその主張について、控えめに言っても誤解を招くものだと批判しています。

単語がシンプルだと「機械扱い」されるカラクリ

なぜこのような理不尽な事態が起きるのか、原因は検知ツールの判定基準にあります。

多くのツールは「テキストの困惑度（perplexity）」と呼ばれる指標を使っています。これは、AIが文章の次の単語を予測する際に、どれだけ意外に感じるかを測る数値です。

ChatGPTなどの大規模言語モデルは、困惑度が低い、つまり予測しやすい滑らかな文章を好んで出力します。しかし英語を母国語としない人間も、使い慣れた平易な単語や典型的な文法パターンに頼りがちです。結果として困惑度が低くなり、アルゴリズムにAI製だと勘違いされてしまいます。

さらに皮肉な実験結果も示されました。研究者たちがAI製と誤認されたTOEFLの文章をChatGPTに渡し、より高度で複雑な語彙を使って書き直させました。

その文章を再び検知器にかけたところ、今度はすべて人間が書いたものと判定されました。自分が人間であることを証明するために、皮肉にも非母国語話者がAIの言い換えに頼らざるを得なくなるというおかしな構造が生まれています。

なぜ重要か

この問題は、教育現場や企業の採用活動において極めて深刻です。留学生や外国人応募者が真面目に書いた文章が、ツールの誤判定によってカンニング扱いされ、学業やキャリアを台無しにされる恐れがあります。

私たちは、AIで作られた文章を別のアルゴリズムで見破ろうとするアプローチ自体に無理があると考えています。語彙が平易だからといってロボット扱いする判定方法は、英語学習者に不当なペナルティを課す仕組みに他なりません。

キプロス公開大学のヤナ・オッターバッハー氏が指摘するように、ChatGPTは常にユーザーの反応を学習しており、いずれ検知ソフトを簡単に回避できるようになります。AI対AIのいたちごっこに勝算はありません。

検知ツールの高い公称精度を盲信し続ける組織は、本当の不正を見抜くどころか、異文化圏の努力家たちを不当に排除してしまうリスクに今すぐ目を向けるべきです。