OpenAI 解析大模型為何產生幻覺:現有評測機制逼著 AI 瞎猜
OpenAI 釋出研究指出,大模型頻繁產生幻覺的主因在於現行評測只看準確率,變相鼓勵模型「瞎猜」而非承認不確定。就像選擇題留空得零分一樣,榜單獎勵了碰運氣的盲猜。OpenAI 呼籲修改基準,加大對自信錯誤的懲罰,並獎勵坦白承認不知道。

如果你參加一場單選題考試,遇到完全不會的題,你是會空著交卷,還是隨便蒙一個選項?
正常人都會選蒙一個,因為空著鐵定零分,瞎猜至少還有四分之一的機率碰對。現在的 AI 模型,其實一直在被這種規則逼著「不懂裝懂」。
OpenAI 發表了一篇研究部落格與論文,把矛頭直接指向了整個行業的評測機制:大語言模型之所以頻頻出現幻覺,根本原因在於現行的訓練和評測都在重獎「瞎猜」,卻在懲罰「坦誠承認不確定」。
榜單逼著 AI 當「賭徒」
幻覺最可怕的地方在於,模型往往以極度自信的語氣胡說八道。論文作者之一 Adam Tauman Kalai 試著用常用聊天機器人查自己的博士論文題目,模型信誓旦旦給出了三個答案,全錯;再問生日,模型又自信給出了三個日期,依然全錯。
為什麼模型寧可編造也不承認不知道?OpenAI 打了個比方:如果問一個人生日,模型瞎猜「9 月 10 日」,有三百分之一百六十五的機率蒙對;但如果老老實實回答「不知道」,在現有準確率榜單上直接算作得零分。
在數萬道題目的刷分壓力下,一個喜歡賭運氣的模型,在各大跑分排行榜上看起來就是比一個嚴謹節制、敢於棄權的模型得分更高。
OpenAI 拿自家的 GPT-5 系統報告舉例,在 SimpleQA 評測裡,較早的 o4-mini 準確率反而略高一點,但它的幻覺錯誤率高得多。原因就是它在不確定時頻繁猜測,靠僥倖拉高了表面成績。
在底層預訓練階段,模型也是通過預測下一個詞來學習。拼寫和括號匹配有嚴密的語法規則,模型規模做大就能徹底掌握;但像某人的生日這種任意且低頻的事實,模型根本無法推導,最終只能瞎猜。
澄清關於幻覺的幾個誤區
在這篇論文裡,OpenAI 順帶反駁了行業裡常見的幾大認知誤區。
首先是「把模型做到百分之百準確就能消滅幻覺」。OpenAI 認為這根本不可能,因為現實世界裡有大量問題本身就是沒有答案、缺乏上下文或者資訊不可獲取的,準確率天然存在上限。
其次是「只有頂尖大模型才有能力避免幻覺」。事實恰恰相反,讓小模型搞清楚自己的能力邊界反而更簡單。比如讓一個完全不懂毛利語的小模型回答毛利語問題,它直接棄權說不知道就行;反而是一個半懂不懂的大模型,需要耗費大量算力去校準自己的自信度。
還有人認為只要單獨搞一個幻覺評測基準就行了。OpenAI 指出這根本治標不治本,只要主流綜合榜單依然只按絕對準確率排座次,開發者就永遠有動力把模型調教成愛蒙答案的賭徒。
為什麼重要
我們認為,OpenAI 這次亮出觀點非常聰明。它把困擾整個行業多年的「幻覺」原罪,從純粹的演算法黑盒缺陷,重新定義成了一個經濟學和博弈論層面的評價激勵問題。
對開發者和企業使用者來說,這項研究是一個明確的風向標:盲目迷信跑分榜單上的絕對準確率已經沒有意義。在醫療、法律、金融這類容錯率極低的嚴肅場景裡,一個敢於說「我不確定、請補充資訊」的模型,價值遠高於一個為了刷榜而胡亂猜對機率題的模型。
但這裡的隱患在於,要改變整個行業的規則並不容易。倒扣分制或者對承認不確定性給分,在傳統考試裡早就存在,可要讓全行業統一接受一套複雜的校準評測體系,面臨極高的協調成本。
在各家大模型同質化嚴重的當下,誰先主動在排行榜上降低所謂準確率、換取更高的謹慎度,誰就可能在營銷層面吃暗虧。OpenAI 借這篇論文呼籲同行改考卷,看起來既是在為 GPT-5 的設計取向正名,也是在逼對手放棄過去那種靠猜題刷分的粗暴競爭。
來源 (1)
- openai.com(在新分頁開啟)原文openai.com