斯坦福与伯克利评估：GPT-4 出现行为漂移，部分数学测试表现下滑

首次发布 2023年7月18日传播指数 40

斯坦福与伯克利研究团队对比了 3 月与 6 月版本的 GPT-3.5 和 GPT-4，发现模型行为出现显著漂移。其中 GPT-4 在质数识别和代码格式上表现明显下滑，指令遵循能力有所减弱。这一发现印证了用户对黑盒模型变钝的怀疑，也暴露出模型持续更新时的不透明问题。

大家最近几个月常在社交平台上吐槽「GPT-4 变笨了」，OpenAI 官方一口否认，现在终于有学者拿着评测数据找上门了。

来自斯坦福大学和加州大学伯克利分校的研究团队，系统测试了 2023 年 3 月和 6 月版本的 GPT-3.5 与 GPT-4。这项涵盖数学、代码生成、敏感问题和医学考试等多项任务的评测显示，所谓的「同一个模型」，在短短三个月里行为发生了剧烈漂移。

质数算不对，代码格式也乱了

测试里最抓人眼球的是数学题。在质数与合数判定的任务中，GPT-4 的 3 月版本还能达到 84% 的准确率，而 6 月版本暴跌到了 51%。Ars Technica 报道甚至提到，在某些特定测试集上它的准确率从 97.6% 跌到了 2.4%。

研究团队分析，这主要是因为 6 月版本的 GPT-4 越来越不听使唤，不再愿意按思维链（Chain of Thought）一步步推导。指令遵循能力的下滑，成了模型行为漂移的关键推手。

不仅是数学，两个模型在 6 月份生成代码时，都出现了更多的格式错误。面对敏感问题和观点调查时，GPT-4 拒绝回答的频率明显增加，变得更保守了。

戏剧性的是，两代模型的变化并不对称。GPT-4 在多跳问答上变好了，GPT-3.5 却在变差；但在质数识别上，GPT-3.5 的 6 月版本反而比 3 月版本准确率大幅提高。

社区此前盛传各种推论：有人怀疑 OpenAI 搞了模型蒸馏以节省 GPU 算力，有人觉得是安全微调带来的副作用，甚至有人猜是为了推销 GitHub Copilot 故意削弱写代码能力。

OpenAI 产品副总裁 Peter Welinder 随后在社交平台上公开发声，坚决否认把模型改笨。他表示每个新版本都在变聪明，用户觉得变笨，很可能是用得越多就越容易发现以往没注意到的毛病。

普林斯顿大学计算机系教授 Arvind Narayanan 也对论文的方法提出质疑。他指出，评测代码生成时只衡量了生成的代码能否被立即执行，而不是衡量代码逻辑本身的正确性。他认为这并不能直接证明模型综合能力退步，更有可能只是 OpenAI 调整微调策略引发的行为变化。

如果你是依赖 OpenAI API 构建产品的开发者，这项研究敲响了一记警钟。一个原本跑得好好的业务流程，可能因为底层模型的一次静默更新，就在格式解析或逻辑推导上突然瘫痪。现在盲目信任黑盒 API 的稳定性，代价可能非常高昂。

对整个行业而言，这撕开了大模型云服务更新机制不透明的遮羞布。模型厂商把大模型当作基础设施来卖，但在后台维护上却依然保留着互联网软件的随意性，既不提供详细的变更日志，也没有公开的回归评测基准。

我们认为这项研究无论在方法上是否存在争议，它的价值都非常关键。它让行业意识到，连续监控黑盒模型是必修课，而不能任由厂商单方面解释。如果不解决更新透明度的问题，企业级客户将很难真正放心地把核心业务交给闭源大模型。