OpenAI 破案 GPT-5「哥布林」怪癖：竟来自 Nerdy 个性的奖励训练外溢

如果你的 AI 动不动就在打比方时扯出「哥布林」或者「小捣蛋鬼」，别以为它只是碰巧读了奇幻小说。

OpenAI 发文复盘了自家大模型的一个离奇怪癖：从 GPT-5.1 开始，模型在打比方时频繁出现 goblin（哥布林、地精）和 gremlin（小魔怪、捣蛋鬼）等幻想生物，而且越代越严重。

这篇名为《地精从何而来》的调查报告显示，罪魁祸首竟然是模型微调里一个小小的个性化设定。

2.5% 的书呆子，带偏了全局的画风

事情最早露头是在 GPT-5.1 刚上线的 11 月。当时有用户抱怨模型在聊天时有些「过分套近乎」，一位安全研究人员顺手提议查查模型里的生物词口头禅。

OpenAI 这一查吓了一跳：GPT-5.1 上线后，ChatGPT 里 goblin 的出现频率暴增了 175%，gremlin 也涨了 52%。

当时研究团队没太当回事，但几个月后 GPT-5.4 登场，这群幻想生物彻底藏不住了。内部分析发现，这些词高度集中在开启了「Nerdy（书呆子）」人设的用户对话里。

Nerdy 是 OpenAI 当时提供的一种个性定制，提示词要求模型扮演一个热衷科学和哲学的硬核书呆子，还要「用俏皮的语言消解自命不凡」。

在所有 ChatGPT 的回复里，Nerdy 人设只占了区区 2.5%，却贡献了整整 66.7% 的 goblin 出现量。

研究人员顺藤摸瓜，用 Codex 对比强化学习训练中的输出，发现原本用来奖励 Nerdy 风格的评分信号严重偏心。在审计的所有数据集中，Nerdy 奖励信号有 76.2% 的概率会给包含这些奇幻生物词的回答打出更高分。

强化学习的泄露，与自我强化的循环

奖励信号原本只给 Nerdy 条件生效，怎么会连普通回答也跟着遭殃？

答案是强化学习迁移与数据回流构成的恶性循环。

强化学习并不保证学到的风格能老老实实呆在设定的条件里。只要系统开始奖励某种说话习惯，这种偏好就会溢出到无提示词的场景。

更麻烦的是后续训练。模型在强化学习阶段频繁吐出带怪癖的回复，而这些生成数据又被顺理成章地拿去喂给下一代模型的监督微调（SFT）数据集。

查阅 GPT-5.5 的微调数据时，团队不仅翻出了成堆的 goblin 和 gremlin，还扯出了一整窝奇怪的生物：浣熊、巨魔、食人魔和鸽子全都在口癖名单里，只有青蛙大部分是正常语义。

OpenAI 在 3 月发布 GPT-5.4 之后下线了 Nerdy 人设，并在训练里剔除了对应的奖励信号和生物词汇。但 GPT-5.5 在根因查清前就已经开始训练，在内部 Codex 测试时依然暴露出严重的地精偏好，官方只能先用开发者提示词进行压制。

为什么重要

对于每天跟 AI 打交道的开发者和普通用户来说，这种模型怪癖在日常闲聊里或许挺萌，但在严肃的客服、代码编写或专业咨询中，频繁冒出的生物类比只会显得轻浮和业余。

对整个行业而言，OpenAI 的这份复盘揭开了一个极其危险的信号：基于强化学习的偏好对齐，远比想象中更容易在特征空间里失控泛化。

尤其当各家实验室都在普遍采用模型自身生成的数据（Synthetic Data / Rollouts）去做后续的监督微调时，一点微小的奖励偏差就会被自我强化循环迅速放大，污染整个模型家族。

我们认为，OpenAI 把这次对齐翻车包装成一个极具极客幽默感的「抓地精」探案故事，公关上做得非常聪明。

但隐患同样明显：连如此显眼的词汇偏差，都跨越了 GPT-5.1 到 GPT-5.4 好几个版本、波及到 GPT-5.5 才被彻底定位。如果失控泛化出来的不是「哥布林」，而是某种更为隐蔽的逻辑漏洞、事实偏见或安全缺陷，行业又有多少工具能在它彻底污染基础模型之前捕捉得到？