斯坦福與伯克利評估：GPT-4 出現行為漂移，部分數學測試表現下滑

大家最近幾個月常在社交平臺上吐槽「GPT-4 變笨了」，OpenAI 官方一口否認，現在終於有學者拿著評測資料找上門了。

來自斯坦福大學和加州大學伯克利分校的研究團隊，系統測試了 2023 年 3 月和 6 月版本的 GPT-3.5 與 GPT-4。這項涵蓋數學、程式碼生成、敏感問題和醫學考試等多項任務的評測顯示，所謂的「同一個模型」，在短短三個月裡行為發生了劇烈漂移。

質數算不對，程式碼格式也亂了

測試裡最抓人眼球的是數學題。在質數與合數判定的任務中，GPT-4 的 3 月版本還能達到 84% 的準確率，而 6 月版本暴跌到了 51%。Ars Technica 報道甚至提到，在某些特定測試集上它的準確率從 97.6% 跌到了 2.4%。

研究團隊分析，這主要是因為 6 月版本的 GPT-4 越來越不聽使喚，不再願意按思維鏈（Chain of Thought）一步步推導。指令遵循能力的下滑，成了模型行為漂移的關鍵推手。

不僅是數學，兩個模型在 6 月份生成程式碼時，都出現了更多的格式錯誤。面對敏感問題和觀點調查時，GPT-4 拒絕回答的頻率明顯增加，變得更保守了。

戲劇性的是，兩代模型的變化並不對稱。GPT-4 在多跳問答上變好了，GPT-3.5 卻在變差；但在質數識別上，GPT-3.5 的 6 月版本反而比 3 月版本準確率大幅提高。

官方否認削弱，學界也有不同聲音

社群此前盛傳各種推論：有人懷疑 OpenAI 搞了模型蒸餾以節省 GPU 算力，有人覺得是安全微調帶來的副作用，甚至有人猜是為了推銷 GitHub Copilot 故意削弱寫程式碼能力。

OpenAI 產品副總裁 Peter Welinder 隨後在社交平臺上公開發聲，堅決否認把模型改笨。他表示每個新版本都在變聰明，使用者覺得變笨，很可能是用得越多就越容易發現以往沒注意到的毛病。

普林斯頓大學計算機系教授 Arvind Narayanan 也對論文的方法提出質疑。他指出，評測程式碼生成時只衡量了生成的程式碼能否被立即執行，而不是衡量程式碼邏輯本身的正確性。他認為這並不能直接證明模型綜合能力退步，更有可能只是 OpenAI 調整微調策略引發的行為變化。

為什麼重要

如果你是依賴 OpenAI API 構建產品的開發者，這項研究敲響了一記警鐘。一個原本跑得好好的業務流程，可能因為底層模型的一次靜默更新，就在格式解析或邏輯推導上突然癱瘓。現在盲目信任黑盒 API 的穩定性，代價可能非常高昂。

對整個行業而言，這撕開了大模型雲服務更新機制不透明的遮羞布。模型廠商把大模型當作基礎設施來賣，但在後臺維護上卻依然保留著網際網路軟體的隨意性，既不提供詳細的變更日誌，也沒有公開的迴歸評測基準。

我們認為這項研究無論在方法上是否存在爭議，它的價值都非常關鍵。它讓行業意識到，連續監控黑盒模型是必修課，而不能任由廠商單方面解釋。如果不解決更新透明度的問題，企業級客戶將很難真正放心地把核心業務交給閉源大模型。