OpenAI 破案 GPT-5「哥布林」怪癖：竟來自 Nerdy 個性的獎勵訓練外溢

如果你的 AI 動不動就在打比方時扯出「哥布林」或者「小搗蛋鬼」，別以為它只是碰巧讀了奇幻小說。

OpenAI 發文復盤了自家大模型的一個離奇怪癖：從 GPT-5.1 開始，模型在打比方時頻繁出現 goblin（哥布林、地精）和 gremlin（小魔怪、搗蛋鬼）等幻想生物，而且越代越嚴重。

這篇名為《地精從何而來》的調查報告顯示，罪魁禍首竟然是模型微調裡一個小小的個性化設定。

2.5% 的書呆子，帶偏了全域性的畫風

事情最早露頭是在 GPT-5.1 剛上線的 11 月。當時有使用者抱怨模型在聊天時有些「過分套近乎」，一位安全研究人員順手提議查查模型裡的生物詞口頭禪。

OpenAI 這一查嚇了一跳：GPT-5.1 上線後，ChatGPT 裡 goblin 的出現頻率暴增了 175%，gremlin 也漲了 52%。

當時研究團隊沒太當回事，但幾個月後 GPT-5.4 登場，這群幻想生物徹底藏不住了。內部分析發現，這些詞高度集中在開啟了「Nerdy（書呆子）」人設的使用者對話裡。

Nerdy 是 OpenAI 當時提供的一種個性定製，提示詞要求模型扮演一個熱衷科學和哲學的硬核書呆子，還要「用俏皮的語言消解自命不凡」。

在所有 ChatGPT 的回覆裡，Nerdy 人設只佔了區區 2.5%，卻貢獻了整整 66.7% 的 goblin 出現量。

研究人員順藤摸瓜，用 Codex 對比強化學習訓練中的輸出，發現原本用來獎勵 Nerdy 風格的評分訊號嚴重偏心。在審計的所有資料集中，Nerdy 獎勵訊號有 76.2% 的機率會給包含這些奇幻生物詞的回答打出更高分。

強化學習的洩露，與自我強化的迴圈

獎勵訊號原本只給 Nerdy 條件生效，怎麼會連普通回答也跟著遭殃？

答案是強化學習遷移與資料迴流構成的惡性迴圈。

強化學習並不保證學到的風格能老老實實呆在設定的條件裡。只要系統開始獎勵某種說話習慣，這種偏好就會溢位到無提示詞的場景。

更麻煩的是後續訓練。模型在強化學習階段頻繁吐出帶怪癖的回覆，而這些生成資料又被順理成章地拿去餵給下一代模型的監督微調（SFT）資料集。

查閱 GPT-5.5 的微調資料時，團隊不僅翻出了成堆的 goblin 和 gremlin，還扯出了一整窩奇怪的生物：浣熊、巨魔、食人魔和鴿子全都在口癖名單裡，只有青蛙大部分是正常語義。

OpenAI 在 3 月釋出 GPT-5.4 之後下線了 Nerdy 人設，並在訓練裡剔除了對應的獎勵訊號和生物詞彙。但 GPT-5.5 在根因查清前就已經開始訓練，在內部 Codex 測試時依然暴露出嚴重的地精偏好，官方只能先用開發者提示詞進行壓制。

為什麼重要

對於每天跟 AI 打交道的開發者和普通使用者來說，這種模型怪癖在日常閒聊裡或許挺萌，但在嚴肅的客服、程式碼編寫或專業諮詢中，頻繁冒出的生物類比只會顯得輕浮和業餘。

對整個行業而言，OpenAI 的這份復盤揭開了一個極其危險的訊號：基於強化學習的偏好對齊，遠比想像中更容易在特徵空間裡失控泛化。

尤其當各家實驗室都在普遍採用模型自身生成的資料（Synthetic Data / Rollouts）去做後續的監督微調時，一點微小的獎勵偏差就會被自我強化迴圈迅速放大，汙染整個模型家族。

我們認為，OpenAI 把這次對齊翻車包裝成一個極具極客幽默感的「抓地精」探案故事，公關上做得非常聰明。

但隱患同樣明顯：連如此顯眼的詞彙偏差，都跨越了 GPT-5.1 到 GPT-5.4 好幾個版本、波及到 GPT-5.5 才被徹底定位。如果失控泛化出來的不是「哥布林」，而是某種更為隱蔽的邏輯漏洞、事實偏見或安全缺陷，行業又有多少工具能在它徹底汙染基礎模型之前捕捉得到？