OpenAIがLLMの「幻覚」原因を分析　正答率偏重の評価がAIの山勘を助長

選択式のテストで全く答えがわからないとき、空欄のまま提出しますか、それとも適当にマークしますか。

ほとんどの人は適当に選ぶはずです。空欄なら確実にゼロ点ですが、当てずっぽうでも正解する確率があるからです。いまのAIモデルも、まったく同じルールに縛られて「知ったかぶり」を続けています。

OpenAIは9月5日、大規模言語モデルがハルシネーション（もっともらしい嘘）を起こす根本的な原因を解明した研究論文を公開しました。現在の学習や評価基準が、不確実性を認めることよりも「当てずっぽうの推測」を過剰に優遇していると指摘しています。

ランキングがAIを「ギャンブラー」に仕立て上げる

ハルシネーションの厄介な点は、AIが完全に間違った答えを自信満々に答えることです。論文の共著者であるAdam Tauman Kalai氏が自らの博士論文のタイトルをチャットボットに尋ねたところ、自信たっぷりに提示された3つのタイトルはすべて誤りでした。誕生日を尋ねても、3回とも別々の間違った日付を返してきました。

なぜAIは「わかりません」と言えないのでしょうか。答えはベンチマークの採点方式にあります。ある人物の誕生日を聞かれたAIが知らなかったとしても、「9月10日」と適当に答えれば365分の1の確率で得点できます。しかし「知らない」と答えると確実にゼロ点になります。

何千問ものテストをこなす中では、推測を連発するモデルのほうが、慎重に棄権するモデルよりも総合ランキングで上位に立ってしまいます。OpenAIによると、GPT-5のシステムカード内のSimpleQA評価において、旧型のo4-miniは正解率こそわずかに高かったものの、当てずっぽうが多いためにハルシネーションの発生率ははるかに高かったといいます。

事前学習の仕組みも影響しています。文法や括弧の対応関係はパターンがあるためスケールアップで解決しますが、特定個人の誕生日といった低頻度の事実には規則性がなく、確率的な予測だけではどうしても嘘が混ざってしまいます。

ハルシネーションをめぐる5つの誤解

OpenAIはこの論文の中で、業界に広まる誤った常識にも反論しています。

まず「正解率を100パーセントに引き上げればハルシネーションは消える」という説は間違いです。現実世界には情報が足りない問題や曖昧な問いが多数存在し、原理的に正解率100パーセントは不可能です。

また「嘘を避けるには巨大なフロンティアモデルが必要」というのも誤解だと指摘します。例えばマオリ語を全く知らない小型モデルなら、マオリ語で質問された際に迷わず「知らない」と棄権できます。中途半端に知っている巨大モデルのほうが、自信度の調整に苦労します。

さらに、ハルシネーション専用のテストを新設するだけでは不十分であり、主要な評価指標そのものが「自信満々の誤答」を重く減点し、「不確実性の表明」を評価する方式へ移行すべきだと訴えています。

なぜ重要か

OpenAIのこの主張は、非常に巧みだと考えられます。ハルシネーションというAI最大の弱点を、アルゴリズムの神秘的なバグではなく、人間側が設定したテストの評価制度というインセンティブの問題に再定義したからです。

実務でAIを使う企業や開発者にとって、この視点は極めて重要です。医療や法務、金融といった現場では、当てずっぽうで正解率を1パーセント上げるモデルよりも、わからないときに「わかりません」と言えるモデルのほうが圧倒的に安全で実用的だからです。

一方で、業界全体がこの採点基準をすぐに改められるかというと、懸念も残ります。減点方式や棄権への部分点という仕組み自体は昔からありますが、ベンチマークの数字だけで優劣を競い合っている現在の競争環境では、慎重に振る舞って正解率を落としたモデルはマーケティング上不利に見えてしまうリスクがあるからです。OpenAIがテストのルール変更を求めた背景には、自社モデルの方向性を正当化しつつ、単純な正解率競争から業界を脱却させたい意図が透けて見えます。