GPT-4.5がチューリングテストに合格、ペルソナ設定で73%が「人間」と判定

70年以上にわたり、人間のような知能を測る究極の基準とされてきたチューリングテスト。その壁がついに突破されました。高度な数理的推論ではなく、ネット文化に詳しい若者のペルソナを演じることによって達成された点が極めて現代的です。

カリフォルニア大学サンディエゴ校（UCSD）の言語・認知研究所の研究チームが発表したプレプリント論文によると、被験者約300人を集めた厳密な三者間チューリングテストにおいて、OpenAIの「GPT-4.5」が73%の確率で人間であると判定されました。これは偶然の確率である50%を大きく上回り、実際の人間よりも人間らしいと判断されたことを意味します。

ペルソナ設定がもたらした決定打

実験では、GPT-4.5、GPT-4o、MetaのLLaMA 3.1-405B、そして約80年前に作られた初期のチャットボットELIZAの4つのシステムが評価されました。

判定員は、正体を隠した人間とAIの両方と同時に5分間のテキストチャットを行い、どちらが本物の人間かを推理します。

勝敗を分けたのはプロンプトの工夫でした。単に「人間だと信じ込ませろ」と指示しただけの場合、GPT-4.5の勝率は36%にとどまりました。ChatGPTで広く使われているGPT-4oに至っては21%と、ELIZAの23%にすら及ばない結果でした。

しかし、インターネット文化に通じた若者などの具体的なペルソナを与えると結果は一変しました。GPT-4.5は勝率73%を叩き出し、LLaMA 3.1-405Bも56%に達して人間と見分けがつかない水準に達しました。

審査員が試したのは日常の雑談

実験の会話記録を分析すると、全体の60%以上が日常の出来事や個人的な話題、感情にまつわる雑談で占められていました。

審査員は知識問題ではなく、くだけた会話から人間性を嗅ぎ分けようとしました。しかし、膨大な人間の会話テキストを学習した最新の大規模言語モデルにとって、日常的な受け答えを模倣することは最も得意な領域でした。

論文の筆頭著者であるCameron Jones氏は、標準的な三者間テストで人工システムが人間を上回った初の客観的証拠だと述べる一方で、これがそのまま人間の知性を獲得した証明になるわけではないと慎重な見方を示しています。GoogleのFrançois Chollet氏が指摘するように、チューリングテストはもともと厳密なベンチマークというより思考実験に近かったからです。

なぜ重要か

この研究は、半世紀以上にわたってAI研究の目標とされてきたチューリングテストが、知能評価の指標として役目を終えたことを示しています。巧妙な模倣と適切なキャラクター設定さえあれば、テストの基準は軽々と越えられてしまうことが実証されたからです。

利用者や社会全体への影響という点では、短時間のテキストチャットにおいて人間とAIの判別が完全に困難になった事実が重い意味を持ちます。日常会話の自然さは飛躍的に向上しますが、同時に高度なソーシャルエンジニアリング攻撃や詐欺、世論工作の自動化リスクが一気に現実味を帯びてきます。

人間側がAIの存在を疑いながら会話しても欺かれてしまう現状を考えると、テキストのやり取りだけで相手の正体を確認することはもはや不可能です。今後は画面の向こう側の人間性をどのように証明するかという、認証技術の根本的な見直しが迫られると考えられます。