大学生が「ChatGPT製論文」を見抜くGPTZeroを開発、アクセス殺到

高校生たちがChatGPTを使って冬休みの宿題を自動化しようと企むなか、プリンストン大学の学部生が一足先にそれを暴くツールを作り上げました。

コンピューターサイエンスを専攻する22歳のEdward Tian氏が開発したのは「GPTZero」というアプリです。テキストを入力するだけで、それが人間の手によるものか、ChatGPTが生成したものかを素早く判定してくれます。

AIを見破る指標「パープレキシティ」と「バースティネス」

2022年11月30日にOpenAIがChatGPTを一般公開して以来、教育現場には激震が走っていました。わずか5日で100万ユーザーを獲得し、シェイクスピア風から文芸誌のコラムまで、自然な文章を巧みに模倣できるからです。ウォール・ストリート・ジャーナルの記者がこれを使ってAP英語試験に合格したことでも話題になりました。

危機感を募らせたニューヨーク市の公立学校は構内ネットワークからChatGPTへのアクセスを遮断し、主要なAI学術会議もAIによる論文執筆を禁止する事態に発展しています。

Tian氏が開発したGPTZeroは、主に「パープレキシティ（困惑度）」と「バースティネス（突発性）」という2つの指標を手がかりに判定を下します。

パープレキシティは、文章内の単語の予測しにくさを表します。AIが好む確率の高い言葉ばかりが並ぶとスコアは低くなり、人間特有の意外な言い回しが多いと高くなります。

もう一方のバースティネスは、文ごとの構造や長さのばらつきを測るものです。人間は長い複文の後に短い単語を放り込むなどリズムに起伏がありますが、AIの文章は全体的に平坦で均一になりやすい傾向があります。

テストでは、ChatGPTに書かせた『ハムレット』の要約がパープレキシティ10、バースティネス19と判定されて即座にボットと見抜かれました。一方で人間が書いた原稿はバースティネスが387まで跳ね上がり、人間による執筆と識別されました。

サーバーはダウン、生徒からは「密告者」のレッテル

Tian氏がTwitterでこのツールを公開すると、世界中の教育関係者から大反響が寄せられました。スイスやフランスをはじめとする各国の教師から感謝のメッセージが殺到したといいます。

公開プラットフォームのStreamlit版には1万人以上が殺到し、アクセス過多でサーバーが一時ダウンしました。さらにTian氏のもとにはベンチャーキャピタルからの出資打診が相次ぎました。

一方でネット上の反応は二分されています。教育関係者が喝采を送る裏で、学生たちからは「告密者（narc）」と非難する声も上がっています。また、一部のユーザーからはAIの文章を見逃したという報告もあり、Tian氏は誤検知率を下げるためのアップデートを急いでいます。

なぜ重要か

GPTZeroの登場は、生成AIの進化スピードに対して、社会の防衛策がどれほど後手に回っていたかを浮き彫りにしました。

OpenAIは昨年12月にテキストへの透かし（ウォーターマーク）導入を示唆したものの、具体的な対策が整わないまま野に放たれました。その結果、教育現場の防波堤となったのが大手テック企業ではなく、一人の大学生が休みに急造したツールだったという事実は皮肉と言えます。

現場の教員にとって、怪しい提出物をスクリーニングする補助手段として今すぐ試す価値は十分にあります。しかし、私たちはこの種の検出スコアを不正の確定証拠として扱うことには強い危うさを感じています。

パープレキシティやバースティネスといった統計的アプローチは、プロンプトを少し工夫したり人間が数箇所手を入れたりするだけで簡単に突破されてしまいます。誤判定によって無実の生徒が疑われるリスクを考えれば、決定打にはなり得ません。

教育機関がアクセスを遮断したり摘発に躍起になったりしても、AIが普及する流れを止めることは不可能です。問われているのは不正を暴くツールの精度ではなく、AIの存在を前提とした上で、どのような課題や評価軸を再設計できるかという教育そのものの変革です。