跳到正文
IFAI

大模型

OpenAI 上线 Decisions API:高频判断提速 10 倍且免输出费

首次发布 传播指数 55

OpenAI 宣布 Decisions API 正式商用。该接口基于 GPT-6 Luna,专为分类、路由等有限选项决策设计,速度比标准响应快 10 倍,单次请求支持 400 个问题。最值得关注的是其完全免除输出费用,百万输入仅需 0.10 美元。

OpenAI 上线 Decisions API:高频判断提速 10 倍且免输出费
图:openai.com

很多做 AI 智能体或者应用架构的人,都吃过同一个闷亏:你只是想让模型在三个选项里挑一个,或者判断一张图里有没有破损,结果调一次通用大模型,不仅要干等上一两秒,还得按生成的一堆废话 Token 掏钱。

OpenAI 显然也算过这笔账。10 月 22 日,OpenAI 宣布把 Decisions API 转为正式可用。这个接口底层用的是 GPT-6 Luna,专为那些答案范围明确的微型决策设计,官方表示它的速度比直接用标准 Responses API 跑 GPT-6 Luna 快了最多 10 倍。

把大模型当开关用,还不收输出费

Decisions API 的逻辑非常克制。开发者只需要给出一个问题和限定的候选项,再把上下文传进去,内容可以是文本、图片,也可以是原生的 JSON 数据。

它返回的结果只有三种固定形式:一种是判定真伪的概率,比如估算商品有没有磨损;第二种是从几个预设选项里挑一个,附带概率和置信度,用来决定 Agent 是继续、重试还是找真人求助;第三种则是根据规则打分,算出概率加权平均值,比如给受损严重度定级。

单次请求能问的问题上限这次也翻了一倍,最多能同时扔进去 400 个问题。更狠的是计费模式,输入每百万 Token 只要 0.10 美元,如果命中了缓存只要 0.01 美元,而且完全不收输出 Token 的费用。

实时对话和合规场景全补齐了

除了速度和价格,这次正式版还把链路补得更完整了。它原生打通了语音交互模块 GPT-Live,让应用能在用户说话的中途实时做决定。

比如客服系统能在对话流里即时判断要不要打断追问,虚拟人也能根据用户刚说的话,毫秒级切换眨眼或者微笑的微表情。OpenAI 自己内部的团队也在用它,财务团队拿它分拣账单交易明细,公关团队拿它给每天的海量报道分类并给叙事偏向打分。

另外,针对企业客户,这次还上线了美国和欧盟的推理数据驻留,亚洲多个区域也扩充了算力,符合条件的企业还能启用零数据保留。

为什么重要

我们认为,Decisions API 是 OpenAI 最近少有的、极具工程美感的产品动作。

以往大家搭建 Agent 工作流,常常陷入两难:要么为了准确率硬上大模型,结果链路被几个路由节点拖得奇慢无比;要么自己微调一堆小分类模型,但维护成本和冷启动又很痛苦。Decisions API 实际上把分类、路由、评分这套脏活直接标准化了,开发者拿 GPT-6 Luna 的底座当低延迟分类器用,性价比极高。

对行业来说,这也是给推理基础设施打了个样。以前 API 全是按生成的 Token 挣钱,OpenAI 这一手直接输出零收费,本质上是在用结构化约束倒逼模型不做无意义的文字自回归,省下来的算力直接压成了延迟和成本优势。其他模型大厂如果跟进,可能也得专门优化这种受限决策路线。

不过隐患也不是没有。把所有路由和分类逻辑全押在闭源端点上,开发者的业务流程会被进一步锁在 OpenAI 的生态里。但至少在当下,如果你手头的应用正在被冗长的 Agent 分支逻辑拖慢,现在就值得去把那些非黑即白的判断节点换成它试一试。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选