OpenAI 悄悄更新 GPT-4o:重回竞技场第一,官方却说不清哪变强了
据报道,OpenAI 已在 ChatGPT 中上线 GPT-4o 更新版本并重夺 Chatbot Arena 榜首。官方坦言很难细致量化模型行为变化,仅表示是基于用户反馈增删数据与常规迭代,同时将最大输出扩展至 16,384 token。

很多时候,AI 厂商发新版本就像交卷,恨不得把每一门考了多少分都列得清清楚楚。但这次 OpenAI 的操作,多少有点「薛定谔的升级」。
8 月 14 日据报道,OpenAI 已经在 ChatGPT 和 API 里上线了一个新版 GPT-4o。不仅普通用户和付费订阅者能用上,它还在大模型竞技场 Chatbot Arena 上悄悄拿下第一,把单次最大输出长度一口气拉到了 16,384 token。但尴尬的是,官方自己也说不清它到底具体好在哪。
用户猜了半天,官方说在洗数据
事情最初源于社区的敏锐嗅觉。在 OpenAI 正式发声之前,不少 ChatGPT 用户就发现机器人的表现有点不一样了,接任务和回答的方式比过去更灵敏。
甚至有人猜测这是不是加入了原生图像生成,或者所谓的「多步推理」。X 平台上有用户发帖称,GPT-4o 展现出了惊人的多步拆解能力。不过 OpenAI 发言人随后明确否认,表示关于多步推理的猜测并没有切中要害。
直到周二,OpenAI 才在发布说明里给这次更新定了调,并在模型列表中将其命名为 chatgpt-4o-latest。官方解释它并不是一个全新的前沿模型,主要是日常的「错误修复与性能改进」。
至于到底改了什么,官方的口吻显得格外坦诚,甚至带点无奈。OpenAI 表示,如何细致地量化评估并向外界传达模型行为的改善,本身就是一个仍在探索的研究课题。团队目前做的事情,就是根据用户反馈增删数据、清理噪音,并做一些常规的方法试验。
说白了,OpenAI 看到实验数据和用户偏好都在变好,但要拿出像样的测试说明书,连工程师自己也犯难。官方的态度更像是:大家先用用看,好不好你们告诉我。
跑分重回第一,输出长度翻了两番
虽然说不清细节,但实际效果并不含糊。
在盲测 AI 对决的 Chatbot Arena 上,这个版本此前化名为「anonymous-chatbot」参与测试。经过社区超过 11,000 次投票,它拿到了 1315 的高分,顺势从 Google 的 Gemini 1.5 手里抢回了榜首位置。
从具体测试表现来看,这个新版本在编程、指令遵循以及困难提示词(hard prompts)上的提升最为明显。
另外一个实打实的改变是输出上限。虽然它的上下文窗口依然是 128,000 token,训练数据也停在 2023 年 10 月,但单次最大输出从原版 GPT-4o 的 4,096 token 直接提升到了 16,384 token,和轻量版的 GPT-4o-mini 持平。
对于需要让 AI 写长篇代码、生成完整报告的开发者来说,这意味着中途被截断的次数会少很多。顺便一提,OpenAI 明确表示这并不是上周登陆微软 Azure 的 gpt-4o-2024-08-06,而是专供 ChatGPT 和动态评测的独立分支。
为什么重要
对普通用户和开发者来说,这次更新几乎是零门槛的福利。你不需要切换任何复杂的设置,只要在网页或手机端打开 GPT-4o,就已经在用它了。特别是最大输出拉到 16,384 token 之后,做长文本生成和复杂脚本编写时体验会有实质提升,非常值得现在就去试一试。
但从行业竞争的角度看,这件事暴露了大模型领域一个越来越棘手的问题:现有的基准测试可能快要不够用了。
过去大家拼参数、拼几个公开数据集的分数,优劣一目了然。而现在前沿模型已经进入了微调数据和人类主观偏好的深水区,连 OpenAI 这样拥有顶尖研究团队的机构,也很难用传统指标讲清楚「为什么这个回答比上周更好」。
我们认为,OpenAI 这种「先根据用户反馈改数据、扔进 Arena 靠盲测验证」的做法虽然很聪明,能让产品快速吸收真实世界的偏好并压制对手,但也带来了一种明显的隐患。当模型的行为变化变得不可捉摸、无法细分归因时,依赖它的企业级应用在稳定性和一致性上就不得不承担更多未知的风险。
来源 (1)
- zdnet.com(在新标签页打开)原文zdnet.com
话题追踪OpenAI GPT-4o 模型更新
- OpenAI 悄悄更新 GPT-4o:重回竞技场第一,官方却说不清哪变强了本条
- GPT-4o 最新版重夺 LMSYS 榜首:超越 Gemini,代码能力大涨 30 分
- OpenAI 悄然更新 GPT-4o:输出长度翻四倍,但拒绝透露改了啥