反駁蘋果研究：大模型「推理崩潰」只是測試沒做對？

前陣子蘋果發了一篇題為《思考的幻覺》的論文，在圈子裡激起千層浪。他們的結論很乾脆：哪怕是最頂尖的大推理模型，一碰到複雜的規劃任務就會全面崩潰。

當時不少看衰 AI 的人拿著這篇論文到處轉發，覺得推理模型這套路子算是走到頭了。

但這事最近迎來了大反轉。非營利機構 Open Philanthropy 的研究員 Alex Lawsen 聯合 Anthropic 的 Claude Opus 模型發了一篇反駁論文，題目取得很損，叫《「思考的幻覺」的幻覺》。

到底是 AI 不會算，還是字數超標了

Lawsen 在論文裡並沒有否認大模型在複雜規劃任務上有短板，但他指出，蘋果那篇論文根本沒分清什麼是真正的「推理失敗」，什麼是「實驗設計漏洞」。

第一個硬傷是字數限制。在漢諾塔測試裡，圓盤數量一旦達到 8 個以上，要列出所有移動步驟需要耗費巨量 token。蘋果把模型在這類題目上的表現判定為「崩潰」，但 Lawsen 翻看原始輸出時發現，模型其實很清醒地寫了一句話：「規律就是這樣，但為了省 token，我就寫到這裡了。」

評測指令碼不管這些，只要沒看到完整步驟就直接記零分，這顯然不能算推理崩潰。

第二個硬傷更離譜，測試題里居然混進了數學上根本無解的題目。比如在過河問題裡，出現了 6 對以上角色、但船的載重完全無法滿足過河約束的情況。

一些模型敏銳地發現了問題無解並選擇拒絕作答，結果蘋果的自動評分系統直接把這判定成了答題失敗。

換成寫程式碼，15 層的漢諾塔瞬間解開

為了驗證自己的觀點，Lawsen 換了一種測試方式。他不再逼著模型像個打字機一樣把幾十萬步的操作硬生生全寫出來，而是讓它們寫一段 Lua 遞迴函式程式碼，用演算法來輸出解法。

結果測試中的 Claude、Gemini 和 OpenAI 的 o3 全都輕鬆寫出了正確的遞迴演算法，直接解出了 15 層的漢諾塔。而在蘋果的原版測試裡，模型在 8 層以上就全軍覆沒了。

正如 Lawsen 所說，現在的核心問題不是推理模型到底能不能思考，而是我們現有的評測方法能不能把「推理能力」和「機械打字」區分開來。

為什麼重要

這件事對普通開發者和用模型的人來說，最直接的啟示是提問方式的改變。如果你需要大模型幫你處理極其複雜的長流程邏輯，千萬別讓它把幾千步的結果一步一步死磕出來，那樣極容易撞上輸出長度限制，導致回答戛然而止。

更聰明的做法是讓它去寫程式碼或者演算法框架，把執行交給機器環境，這樣才能真正榨出大模型的推理潛力。

在行業層面，這篇反駁論文撕開了當前 AI 評測機制的一個大口子。大廠的基準測試往往高度依賴自動化評分指令碼，只看字串匹不匹配，極其粗糙。蘋果的論文被廣泛引用為「模型缺乏通用推理能力」的鐵證，但現在看起來，很多時候只是評測標準本身設計得不專業。

我們認為，Lawsen 的反擊非常漂亮，他精準擊中了蘋果實驗裡把「輸出長度瓶頸」和「認知邏輯崩塌」混為一談的硬傷。但這並不代表當下的推理模型就天下無敵了，真正的通用規劃能力依然是個巨大的挑戰，但至少在給一項技術判死刑之前，評測者得先確保自己的尺子沒有歪。