OpenAI 升级 API:支持 Function calling 调外部接口,GPT-3.5 降价并推 16k 版本
OpenAI 宣布为其 Chat Completions API 引入 Function calling 功能,模型能按开发者定义的函数结构返回标准 JSON。同时推出 16k 上下文的 gpt-3.5-turbo,并大幅降低嵌入与输入 token 价格。这让大模型连接外部工具和数据库变得更加稳定可靠。

以前想让大语言模型帮你查天气、调数据库,开发者得写一大堆提示词,求着模型「千万只输出 JSON,别说废话」,但模型经常一开心就多吐一句「好的,这是你要的数据」,直接把后端的代码解析干崩。
OpenAI 针对 API 推出了一组更新,最核心的一项就是给 gpt-4-0613 和 gpt-3.5-turbo-0613 带来了「函数调用」(Function calling)能力。从此,大模型终于能稳稳当当地给外部系统当大脑了。
除了这项新能力,OpenAI 还推出了支持 16k 上下文的 gpt-3.5-turbo、大幅下调了 API 调用价格,并公布了老模型的下线时间表。
让模型直接说结构化人话
所谓的函数调用,说白了就是开发者在发起请求时,可以用 JSON Schema 告诉模型你手头有哪些工具,比如发邮件函数 send_email、查天气函数 get_current_weather。
模型在理解用户的自然语言后,会自己判断该不该调工具。如果需要,它不再回复一堆散文,而是精准输出一个包含参数的 JSON 对象。
这就解决了三个经典痛点。第一是做聊天机器人,比如用户说「问问 Anya 下周五要不要喝咖啡」,模型直接转成邮件发送指令。第二是将自然语言转成数据库查询,把「本月前十大客户是谁」转成具体的 SQL 语句。第三是从长文本里抓取结构化数据,比如从维基百科文章里批量提取人名和生日。
不过 OpenAI 也坦言,把外部工具接入模型依然存在安全风险。比如恶意数据可能借着工具返回的内容诱导模型执行非预期操作。官方提醒开发者,尽量只接入可信工具,涉及发邮件、花钱等有现实影响的操作,最好加上一道人工确认。
16k 上下文降临,API 全面降价
这次更新的另一大主角是上下文容量。新推出的 gpt-3.5-turbo-16k 把上下文窗口从原本的 4k 直接拉到了 16k,相当于一次请求能塞进大约 20 页文本。
价格方面,16k 版本的输入每千 token 价格为 0.003 美元,输出为 0.004 美元。而原本的 4k 版 gpt-3.5-turbo 输入价格降了 25%,来到每千 token 0.0015 美元,算下来一美元大概能处理 700 页文本。
降幅最狠的是向量模型 text-embedding-ada-002,调用成本直接砍掉 75%,降至每千 token 0.0001 美元。
至于老版本模型,gpt-3.5-turbo-0301 和 gpt-4-0314 的默认指向将在 6 月 27 日自动升级到新版本。如果应用需要锁定旧版本,开发者可以在参数中指定具体型号代码,OpenAI 后来根据社区反馈,将这些老型号的支持时间延长至至少 2024 年 6 月 13 日。
为什么重要
我们认为,函数调用是大模型从「聊天玩具」走向「软件基础设施」的关键一步。之前大家都在做套壳问答,或者用各种脆弱的正则表达式去解析大模型的文本输出,开发体验极差。现在模型原生支持结构化输出和工具选择,这意味着开发者可以用它真正搭建可靠的智能体(Agent)和自动化工作流,不管是个人开发者做自动化脚本,还是企业对接内部 ERP,门槛都骤降了。
对行业来说,OpenAI 实际上是把此前 ChatGPT 插件系统(Plugins)的底层能力直接拆出来下放给了 API。这一招直接打向了 LangChain 等外部框架的核心领地:当模型本身就能稳定判断工具和吐出标准参数时,上层框架那些复杂的胶水代码就显得臃肿且多余了。
降价和 16k 上下文的配合也很聪明。对于绝大多数中小团队,GPT-4 依然太贵且排队严重,而 16k 版 GPT-3.5 加上低廉的价格,让处理长文档摘要、长对话记忆变得极具性价比。不过隐患依然存在:正如官方警告的提示注入风险,一旦外部接口返回的数据被污染,拥有工具调用能力的模型很可能会变成不受控的提线木偶,安全防护的设计现在全落在了开发者自己的肩上。
来源 (1)
- openai.com(在新标签页打开)原文openai.com