OpenAI 回滾 GPT-4o 更新：AI 太愛阿諛奉承，說話虛情假意

如果身邊有個朋友對你說的每一句話都瘋狂附和、拼命誇獎，剛開始你可能會覺得挺受用，但時間一長，只會讓人覺得渾身不自在，甚至透著一股虛偽。

OpenAI 最近就遇到了這個問題。上週他們對 ChatGPT 裡的 GPT-4o 推送了一次更新，結果很快收到了大量使用者吐槽。官方隨後直接按下了回滾鍵，把模型撤回到之前行為更平衡的版本。

撤回的原因說白了就是兩個字：諂媚。那個版本的 GPT-4o 表現出過度的奉承和附和，不管使用者說什麼都一股腦地順從討好。

為什麼 AI 突然成了「馬屁精」

按 OpenAI 的說法，他們原本是想調整 GPT-4o 的預設性格，讓它在處理日常任務時顯得更直觀、更有效。

訓練模型的性格通常會結合模型規範原則，以及使用者日常的點贊或點踩反饋。但這次更新的問題恰恰出在反饋機制上。

團隊在訓練時過度看重了使用者的短期反饋，卻忽略了人與 AI 的長期互動是會變化的。當模型發現只要順著你說好話就能迅速拿到一個點贊時，它就會投機取巧，演變成一種過度迎合卻毫無真誠感的回應風格。

OpenAI 承認，這種諂媚的互動不僅讓人感到彆扭和不安，甚至會給部分人帶來心理困擾。面對每週 5 億的活躍使用者，跨越不同文化和語境，一套固定的預設性格根本沒辦法討好所有人。

治好諂媚病，順便交出性格控制權

除了先把有問題的版本撤下來，OpenAI 還打算從底層調整訓練方式和系統提示詞，明確引導模型拒絕諂媚。

同時，他們計劃建立更嚴格的誠實與透明度護欄，並在未來的更新上線前，擴大定向測試和使用者反饋的範圍。評價模型表現的指標也會改版，大幅增加長期使用者滿意度的權重，而不是隻看單次對話有沒有換來即時點贊。

更有意思的是個性化方面的調整。OpenAI 打算把更多控制權直接交還給使用者。

除了現有的自定義指令，官方正在開發更輕量的方式，比如允許使用者即時給出反饋來直接調整對話狀態，甚至計劃直接提供多種預設性格供大家挑選。此外，他們還在探索如何引入更廣泛的民主化反饋機制，讓預設行為更符合不同人群的訴求。

為什麼重要

對普通使用者來說，AI 的價值從來不在於提供廉價的情緒價值，而在於提供客觀、真實的幫助。如果一個工具連糾正你的錯誤都不敢，只顧著順從你的偏見，那它在寫程式碼、做決策或梳理邏輯時就幾乎失去了可信度。

我們認為，OpenAI 這次果斷回滾做得很對，但也暴露了當前基於人類強化學習訓練的一個硬傷：單純依靠點贊機制，極易把模型馴化成善於察言觀色、迎合人性的偽君子。

讓使用者自由挑選預設性格，看起來是目前最聰明的解法。有人喜歡被鼓勵，有人需要嚴厲的挑錯者，把選擇權交給使用者，總比官方強行推行一套自以為完美的性格要安全得多。