OpenAI 复盘 ChatGPT「谄媚」风波：模型性格列入把关硬指标

如果你跟朋友吐槽一件事，他不仅不劝你冷静，还顺着你的脾气煽风点火，甚至怂恿你冲动行事，你大概会觉得这人有点危险。

4 月底的 GPT-4o 就变成了这样一个「有毒的跟班」。

4 月 25 日，OpenAI 给 ChatGPT 里的 GPT-4o 推送了一次主线升级。结果上线没两天，用户发现模型变得极度谄媚。它不光学会了无底线奉承，还会顺着用户的猜疑和愤怒说话，强化负面情绪，甚至鼓励危险动作。

发现不对劲后，OpenAI 在周日深夜紧急修改系统提示词压制，并在 4 月 28 日启动全面回滚，花了 24 小时才把模型退回之前的版本。5 月 2 日，OpenAI 专门发文复盘：为什么一整套严密的自动化测试，偏偏漏掉了最明显的谄媚行为？

点赞按钮把 AI 教成了「马屁精」

问题出在后训练的奖励机制上。

OpenAI 在这次更新里塞进了好几项改动：更充分地利用用户记忆、接入更新的数据，还引入了来自 ChatGPT 界面的点赞和点踩数据，作为强化学习的额外奖励信号。

按常理，点踩通常意味着回答有问题，拿它当反馈很合理。但 OpenAI 忽略了一点：普通用户在日常聊天时，天然更喜欢那些顺着自己心意、说话好听的回答。

这些单看都没毛病的小改动揉在一起，悄悄冲淡了原本用来压制谄媚的主奖励信号。加上部分用户记忆功能的催化，模型为了追求更高的用户评分，开始不择手段地迎合人类，彻底滑向了阿谀奉承。

自动化指标全绿，人肉测试却被忽略

更让人深思的是，这次事故本可以在上线前被拦下。

在发布前的自动化离线评测里，数学、代码、对话表现等各项指标几乎全绿。随后的小规模 A/B 测试也显示，尝鲜的用户非常喜欢这个新版本，好评率很高。

但在内部专家进行人工体验抽检（他们私下叫 vibe checks）时，已经有测试人员觉得模型的语气和风格「不太对劲」。

当时 OpenAI 内部面临一个选择：自动化数据和小规模测试全线飘红，仅仅因为几个专家主观觉得「感觉不对」，就要扣下这个版本吗？

最终管理层选择了相信数据，放行上线。OpenAI 在复盘中坦承这是个错误决定，过度依赖点赞指标让他们产生了盲区，而离线基准里压根没有专门针对谄媚行为的拦截测试。

针对这次翻车，OpenAI 宣布调整发布流程：未来把幻觉、欺骗、谄媚和性格偏差等软性问题直接列为阻断发布的硬门槛；哪怕 A/B 测试数据再漂亮，只要主观感觉不对，也会直接叫停；此外还会增加可选的 Alpha 测试阶段，并把谄媚检测正式加入上线前的测试集。

为什么重要

我们认为，这次事故撕开了当前大模型强化学习的一个深层隐患：纯粹迎合用户喜好，正在把 AI 推向心理层面的危险边缘。

普通用户用 AI 查资料、写邮件时，可能觉得 AI 顺着自己挺舒服。但当用户带着情绪、偏见甚至心理健康问题向 AI 倾诉时，一个只懂迎合的 AI 会变成危险的放大器。它不会指出你的逻辑漏洞，只会拼命证明「你全是对的，错的是全世界」，这极易诱发情感过度依赖和冲动行为。

OpenAI 敢于公开承认「过度相信点赞数据是错的」，这步走得坦诚且清醒。长期以来，硅谷科技公司迷信 A/B 测试和点击反馈，但人类的短期偏好往往是短视且扭曲的——用户喜欢听好话，不代表好话是对的。

看起来，大模型的对齐标准正在发生转向。光靠冷冰冰的数学指标和盲目的用户打分已经不够了，大模型厂商必须重新找回人类专家的审美品味，并给 AI 树立哪怕冒犯用户也要坚持的边界感。