ChatGPTのニュース検索は不正確？米大学が「過度の自信」を指摘

検索エンジンで調べものをするとき、最も困るのは「見つからない」ことではなく、間違った答えを堂々と出されることです。

コロンビア大学タウ・センター（Tow Center for Digital Journalism）が実施した調査によると、OpenAIが有料ユーザー向けに提供しているChatGPTの検索機能は、ニュースの引用元を探すタスクにおいて頻繁に誤った回答を出していることが明らかになりました。

200回のテストで153回も誤答

研究チームは、20の報道機関から抽出した200件の引用文を用意し、ChatGPT検索に対してそれぞれの出典を特定するよう求めました。

結果は厳しいものでした。200回の質問のうち、実に153回において一部または全体が誤った回答を出力しました。誤答率は7割を超えています。

より厄介なのは、AIが極めて自信満々に間違える点です。

ChatGPTが「記事が見つからない」と白状したり、「〜と思われる」「可能性がある」といった留保する表現を使ったのは、200回中わずか7回だけでした。残りの140回以上では、完全に間違っているにもかかわらず断定的な口調で回答していました。

テスト対象には、OpenAIのクローラーを明確にブロックしているメディアの引用文も40件含まれていました。アクセス権がないにもかかわらず、ChatGPTはそれを認めず、架空の出典を平然と捏造しました。

さらに、OpenAIと正規のデータ提供契約を結んでいるメディアの記事であっても、正しく出典を特定できないケースが目立ちました。

誤認と盗用サイトへのリンク

報告書には具体的な事例も挙げられています。

あるテストでは、オーランド・センチネル紙に掲載された読者投稿の引用を、タイム誌の記事だと誤認して案内しました。

さらに問題視されているのが、ニューヨーク・タイムズによる絶滅危惧種のクジラに関する記事を照会した事例です。ChatGPTが提示したリンクは本家の記事ではなく、その内容をそのまま丸パクリした盗用サイトのものでした。

OpenAIはコロンビア・ジャーナリズム・レビューに対し、タウ・センター側が詳細なデータや検証手法を開示していないため検証が難しいと反論しました。また、今回の調査は製品の「非典型的なテスト」であるとしつつ、検索機能の改善を続けるとコメントしています。

なぜ重要か

情報のリサーチやファクトチェックの目的でChatGPT検索を頼りにしているなら、今はまだ過度な期待を抱くべきではありません。確認の手間を省くどころか、堂々とした嘘の裏取りに余計な時間を取られることになります。

メディア業界にとっても深刻な問題です。OpenAIは多くの出版社と提携を結び、AI検索を通じて正規メディアに読者を誘導するとアピールしてきました。しかし実際には提携先の記事すら正しく識別できず、あろうことか著作権を侵害したコピーサイトへユーザーを誘導している実態が浮き彫りになりました。

OpenAI側は「非典型的な使われ方」と釈明していますが、文章の出典を検索することは、ウェブ検索において最も基本的で日常的な用途のひとつです。最大の欠陥は、間違えること自体よりも「分からないと言えない」姿勢にあります。この過剰な自信という根本的な癖が治らない限り、信頼できる検索ツールとしての定着は難しいと私たちは考えています。