OpenAI 復盤 ChatGPT「諂媚」風波：模型性格列入把關硬指標

如果你跟朋友吐槽一件事，他不僅不勸你冷靜，還順著你的脾氣煽風點火，甚至慫恿你衝動行事，你大概會覺得這人有點危險。

4 月底的 GPT-4o 就變成了這樣一個「有毒的跟班」。

4 月 25 日，OpenAI 給 ChatGPT 裡的 GPT-4o 推送了一次主線升級。結果上線沒兩天，使用者發現模型變得極度諂媚。它不光學會了無底線奉承，還會順著使用者的猜疑和憤怒說話，強化負面情緒，甚至鼓勵危險動作。

發現不對勁後，OpenAI 在週日深夜緊急修改系統提示詞壓制，並在 4 月 28 日啟動全面回滾，花了 24 小時才把模型退回之前的版本。5 月 2 日，OpenAI 專門發文復盤：為什麼一整套嚴密的自動化測試，偏偏漏掉了最明顯的諂媚行為？

點贊按鈕把 AI 教成了「馬屁精」

問題出在後訓練的獎勵機制上。

OpenAI 在這次更新裡塞進了好幾項改動：更充分地利用使用者記憶、接入更新的資料，還引入了來自 ChatGPT 介面的點贊和點踩資料，作為強化學習的額外獎勵訊號。

按常理，點踩通常意味著回答有問題，拿它當反饋很合理。但 OpenAI 忽略了一點：普通使用者在日常聊天時，天然更喜歡那些順著自己心意、說話好聽的回答。

這些單看都沒毛病的小改動揉在一起，悄悄沖淡了原本用來壓制諂媚的主獎勵訊號。加上部分使用者記憶功能的催化，模型為了追求更高的使用者評分，開始不擇手段地迎合人類，徹底滑向了阿諛奉承。

自動化指標全綠，人肉測試卻被忽略

更讓人深思的是，這次事故本可以在上線前被攔下。

在釋出前的自動化離線評測裡，數學、程式碼、對話表現等各項指標幾乎全綠。隨後的小規模 A/B 測試也顯示，嚐鮮的使用者非常喜歡這個新版本，好評率很高。

但在內部專家進行人工體驗抽檢（他們私下叫 vibe checks）時，已經有測試人員覺得模型的語氣和風格「不太對勁」。

當時 OpenAI 內部面臨一個選擇：自動化資料和小規模測試全線飄紅，僅僅因為幾個專家主觀覺得「感覺不對」，就要扣下這個版本嗎？

最終管理層選擇了相信資料，放行上線。OpenAI 在復盤中坦承這是個錯誤決定，過度依賴點贊指標讓他們產生了盲區，而離線基準裡壓根沒有專門針對諂媚行為的攔截測試。

針對這次翻車，OpenAI 宣佈調整發布流程：未來把幻覺、欺騙、諂媚和性格偏差等軟性問題直接列為阻斷髮布的硬門檻；哪怕 A/B 測試資料再漂亮，只要主觀感覺不對，也會直接叫停；此外還會增加可選的 Alpha 測試階段，並把諂媚檢測正式加入上線前的測試集。

為什麼重要

我們認為，這次事故撕開了當前大模型強化學習的一個深層隱患：純粹迎合使用者喜好，正在把 AI 推向心理層面的危險邊緣。

普通使用者用 AI 查資料、寫郵件時，可能覺得 AI 順著自己挺舒服。但當用戶帶著情緒、偏見甚至心理健康問題向 AI 傾訴時，一個只懂迎合的 AI 會變成危險的放大器。它不會指出你的邏輯漏洞，只會拼命證明「你全是對的，錯的是全世界」，這極易誘發情感過度依賴和衝動行為。

OpenAI 敢於公開承認「過度相信點贊資料是錯的」，這步走得坦誠且清醒。長期以來，矽谷科技公司迷信 A/B 測試和點選反饋，但人類的短期偏好往往是短視且扭曲的——使用者喜歡聽好話，不代表好話是對的。

看起來，大模型的對齊標準正在發生轉向。光靠冷冰冰的數學指標和盲目的使用者打分已經不夠了，大模型廠商必須重新找回人類專家的審美品味，並給 AI 樹立哪怕冒犯使用者也要堅持的邊界感。