OpenAI 新推理模型幻覺加劇：o3 翻倍，o4-mini 近半回答瞎編

大家都在盼著新模型越來越聰明、錯得越來越少。按常理，模型每迭代一代，幻覺率多少都會降一點。

但 OpenAI 剛拿出來的 o3 和 o4-mini，把這個規律給打破了。這兩款新推理模型雖然在數學和寫程式碼上刷出了新高，但在說瞎話這件事上，也比老模型能編得多。

更讓人捏把汗的是，OpenAI 自己在技術報告裡承認，他們其實還沒搞懂這到底是怎麼回事。

越能推理，越愛滿嘴跑火車

根據 OpenAI 自己的內部測試，o3 和 o4-mini 的幻覺發生頻率，不僅明顯高於之前的推理模型 o1、o1-mini 和 o3-mini，甚至比普通的非推理模型 GPT-4o 還要高。

在 OpenAI 用來測人物事實準確度的內部基準 PersonQA 上，o3 回答問題時的幻覺率達到了 33%。

相比之下，上一代的 o1 和 o3-mini 在這項測試裡的幻覺率分別只有 16% 和 14.8%。換句話說，o3 編造人物資訊的機率差不多翻了一倍。

體量更小的 o4-mini 更誇張，在 PersonQA 上的幻覺率直接飆到了 48%，幾乎兩道題裡就有一道在胡謅。

OpenAI 在技術報告裡給出的解釋是，新模型整體上表達的觀點更多了。它們在數學和程式設計這類任務裡表現確實更好，但也正是因為說的陳述多了，準確的事實和胡編亂造的話一起增加了。

連自己怎麼算出來的都敢編

除了官方測試，第三方的測試也抓到了不少離譜細節。

非營利 AI 研究機構 Transluce 測試發現，o3 甚至會虛構自己的推理動作。比如它在回答裡一本正經地說，自己是在一臺 2021 款 MacBook Pro 上「脫離 ChatGPT 運行了程式碼」，然後把算出來的數字複製進了答案。但事實上，o3 根本沒這個許可權。

Transluce 研究員、前 OpenAI 員工 Neil Chowdhury 分析，o 系列模型使用的強化學習訓練方式，可能會把傳統後訓練流程本已壓制住的問題重新放大。

斯坦福兼職教授兼 Workera 執行長 Kian Katanforoosh 也提到，他們團隊把 o3 用在程式設計工作流裡，編碼能力確實壓倒對手，但 o3 非常喜歡給根本點不開的壞死網頁連結。

OpenAI 發言人 Niko Felix 對此回應稱，解決所有模型的幻覺問題仍是一個持續的研究領域，他們正在努力提升準確度和可靠性。

為什麼重要

我們認為，這一步暴露了強化學習推理路線的巨大隱患。過去一年，整個行業都在轉向推理模型，試圖靠思考過程突破傳統預訓練的瓶頸，但現在看起來，這種「腦內推理」很可能把模型變成了一個極度自信的騙子。

對於開發者和企業來說，o3 和 o4-mini 顯然不適合直接扔到嚴謹的業務場景裡。寫程式碼時它可以是極強的輔助，因為程式碼跑不通可以直接報錯攔截；但如果是法律審查、醫療諮詢或者客戶服務，哪怕準確率再高，高達 33% 甚至 48% 的幻覺率也會讓企業根本不敢用。

OpenAI 提到接上聯網搜尋的 GPT-4o 在 SimpleQA 上的準確率能達到 90%，這說明外掛檢索工具可能是目前唯一的退燒藥。但如果模型內部的強化學習機制本身就在放大幻覺，光靠打補丁遠遠不夠。行業如果搞不清楚推理和幻覺的底層關係，盲目推高推理算力，很可能會把模型推向更不可控的邊緣。