GPT-4o 最新版重夺 LMSYS 榜首:超越 Gemini,代码能力大涨 30 分
LMSYS 宣布 OpenAI 最新版 GPT-4o(20240808)以 1314 分重登 Chatbot Arena 榜首,反超 Google Gemini-1.5-Pro-Exp。新版在代码、高难度提示和指令遵循等子榜均拿下第一,开发者可通过 API 的 chatgpt-4o-latest 体验。

大模型榜首的位置还没坐热,王座又换人了。
LMSYS 宣布,OpenAI 最新版 ChatGPT-4o(20240808)在 Chatbot Arena 经过一周的匿名盲测、收集了超过 1.1 万次社区投票后,以 1314 分的成绩超越 Google 的 Gemini-1.5-Pro-Exp,重新夺回总榜第一。
编程能力猛涨,API 现已上线
新版模型在技术任务上的提升很明显。在编程分类里,它的得分比 5 月 13 日的第一代 GPT-4o 高出 30 多分。
细分榜单上,新版 ChatGPT-4o 在硬核提示词、指令遵循、长查询和多轮对话中全部拿下第一,数学分类则排在第一到第二名。
OpenAI 随后确认,这个新版本已经在 API 中以 chatgpt-4o-latest 的端点提供。不过官方也提醒,如果是常规的 API 业务,依然推荐使用 gpt-4o-2024-08-06,这个 latest 端点主要是让开发者尝鲜和评估最新的对话能力。
为什么重要
我们认为,头部大模型现在的榜首争夺已经变成了高频游击战。前脚 Google 靠实验版 Gemini 刚登顶,后脚 OpenAI 就拿一个带日期后缀的微调版本打了回去。
在做法上,OpenAI 把追求极限能力的动态版本 chatgpt-4o-latest 和追求稳定输出的固定快照版本拆开,看起来相当务实。开发者想测试最强能力随时可以调用,但核心生产环境又不会因为模型突然变动而崩溃。
如果你平时重度依赖大模型写代码或处理复杂指令,现在就可以去 API 里调 chatgpt-4o-latest 试试水,看看这涨出来的 30 多分在实际业务里有多大体感。
来源 (1)
- @lmsysorg(在新标签页打开)原文x.com
话题追踪OpenAI GPT-4o 模型更新
- OpenAI 悄悄更新 GPT-4o:重回竞技场第一,官方却说不清哪变强了
- GPT-4o 最新版重夺 LMSYS 榜首:超越 Gemini,代码能力大涨 30 分本条
- OpenAI 悄然更新 GPT-4o:输出长度翻四倍,但拒绝透露改了啥