跳到正文
IFAI

大模型

OpenAI 升级 GPT-4 Turbo:视觉请求全面支持 JSON 与函数调用

首次发布 传播指数 59

OpenAI 宣布升级版 GPT-4 Turbo 正式上线 API,并开始向 ChatGPT 陆续推送。带有视觉能力的 GPT-4 Turbo 结束预览进入通用可用阶段,不仅支持图像理解,视觉请求还能直接搭配 JSON 模式和函数调用,方便开发者直接提取结构化数据。

OpenAI 升级 GPT-4 Turbo:视觉请求全面支持 JSON 与函数调用
图:aider.chat

本来以为是个大升级,没想到写代码的程序员们先炸了锅。

OpenAI 正式在 API 中上线了声称有「重大改进」的 GPT-4 Turbo 正式版,并且开始向 ChatGPT 用户推送。最核心的更新是 GPT-4 Turbo with Vision 正式全面商用(GA),视觉能力终于能直接配合 JSON mode 和函数调用(Function Calling)一起用了。

但这头官方还在推特上庆祝,那头开源 AI 编程工具 aider 就端出了一份让人尴尬的测试数据。

视觉功能终于补齐,但代码跑分却倒退了

对开发应用的人来说,新模型把视觉和结构化输出打通,确实解决了个大麻烦。以前想让模型看图再规规矩矩输出 JSON,往往得绕好几道弯,现在官方原生支持了。

然而,当终端用户把它拉去干重活时,情况有点不对劲。

AI 辅助编程工具 aider 拿 133 道 Python 代码编辑题目测了一圈。在两次尝试的机会下,这个带有视觉能力的新版 GPT-4 Turbo 仅拿到了 62% 的分数,成了所有 GPT-4 家族模型里得分最低的一个。

虽然比起其他版本的 63% 到 66%,差距看起来不算特别巨大,但指望它变强的开发者们显然扑了个空。

「偷懒」不仅没修好,反而更严重了

比单纯写错代码更让程序员头疼的,是模型的「偷懒症」。

去年 GPT-4 Turbo 刚出来时就因为老在代码里留注释敷衍了事被骂过。比如遇到复杂的逻辑,它不写完整实现,而是写上一行类似「请在此处实现具体逻辑」的注释,把活儿扔回给人类。

为了量化这种偷懒行为,aider 专门设计了由 89 个 Python 重构任务组成的基准测试。

结果显示,新版 GPT-4 Turbo 在这个测试里只拿到了 34% 的分数。用 aider 的话说,它以相当明显的差距,坐实了所有 GPT-4 Turbo 模型中「最懒程序员」的称号。

也正因为这样,aider 虽然第一时间支持了新模型的接口,但明确表示默认模型依然会坚守 gpt-4-1106-preview,因为后者依然是他们测过编程能力最强的版本。

为什么重要

这件事情给所有把业务押在模型上的开发者提了个醒:全功能大一统的模型,往往需要付出代价。

如果你做的是多模态产品,比如需要识别图表并转成标准 JSON 存入数据库,那这个版本非常值得立刻接入,它能帮你省掉一大堆胶水代码。

但如果你指望拿它来当主力编程助手,我们建议先别急着升级,或者干脆继续锁定老版本。

我们认为,OpenAI 这次暴露出一个很现实的权衡难题。当团队试图把视觉理解、函数调用和通用文本能力全部塞进同一个通用模型时,模型内部的能力权重看起来发生了某种稀释。在多模态方向大步前进的同时,高难度的长代码生成反而出现了性能倒退。

对于行业里的代码辅助工具来说,盲目追捧官方的「最新最强」正在变得越来越危险,针对细分场景做回归测试、甚至建立自己的专属评测集,已经成了逃不掉的硬成本。

来源 (2)

  1. [1]
    @OpenAI(在新标签页打开)原文twitter.com
  2. [2]
    aider.chat(在新标签页打开)报道aider.chat

每日 AI 内容精选