カンザス大、ChatGPT製論文を99%超の精度で見分けるAIを開発

AIが書いた文章を見分ける検出ツールは精度の低さが批判されがちですが、学術論文の領域に絞れば話は別かもしれません。

カンザス大学を率いる研究チームが、ChatGPTが生成した科学論文を99パーセント以上の精度で識別できる機械学習アルゴリズムを開発しました。学術誌「Cell Reports Physical Science」に論文が掲載されています。

科学者とAIの「文体」の決定的な違い

論文の筆頭著者であるカンザス大学のヘザー・ディゼア教授は、AIによる執筆には重大な欠点があると指摘します。複数の情報源からテキストを寄せ集めているだけで正確性のチェックがなく、まるで「2つの真実と1つの嘘」というゲームのような状態だといいます。

チームは生物学から物理学まで幅広い分野の科学誌から、展望記事と呼ばれるスタイルの論文64本を収集しました。同じテーマについてChatGPTに段落を生成させ、128本の疑似論文を作成し、計1276段落を使って分類器を学習させました。

さらに実在する論文とAI製論文を組み合わせた計1210段落のデータセットでテストしたところ、論文全体の判定では100パーセントの正解率を記録しました。段落単位の判定でも92パーセントの精度を維持したと報告されています。

高い精度の理由は、人間とAIの文体の違いに着目した点にあります。本物の科学者は語彙が豊富で、より多様な言葉を使って長い段落を書く傾向があります。

句読点にも特徴が出ました。人間は疑問符や丸括弧、セミコロンを多用しますが、ChatGPTは引用符を除いてこうした記号をあまり使いません。

またChatGPTは具体的な数値や他の科学者名への言及が少なく、「however」「but」「although」「because」といった慎重な限定表現をあまり使いません。断定を避ける科学者独特の言い回しが欠けているわけです。

ただし、この結果を鵜呑みにはできません。研究チーム自身が認めているように、今回の研究はあくまで概念実証です。テストデータは180本の文書、約1200段落と規模が小さく、人間が手を入れた文章や他の雑誌の論文に対してどれだけ通用するかはまだ確認されていません。

なぜ重要か

私たちは、この研究の最大の賢さは「用途を科学論文という狭い文体に絞り込んだこと」にあると考えています。あらゆる文章を判定しようとする汎用AI検出ツールは誤判定が多すぎて現場で使い物になりませんが、厳格な作法が存在する学術分野なら特徴量の差を炙り出しやすいからです。

一方で、学術誌の編集者や大学関係者が今すぐこのツールに頼り切るのは危険です。人間が少し手直ししたAI文章に対する頑健性は検証されておらず、誤判定によって正規の研究者が不正を疑われるリスクは依然として残ります。

業界全体にとっては、AIによる粗製濫造論文の投稿ラッシュに対する有効な防御策の手がかりになります。しかし「セミコロンが少ない」「限定表現が足りない」といった判別ロジックが明らかになれば、プロンプト側でそれを補う指示を出すのは容易です。いたちごっこの域を出ていない点には留意する必要があります。