OpenAI 上线 Ultrafast 模式:GPT-5.6 Sol 快 14 倍,每秒 750 token
OpenAI 联合 Cerebras 推出 API 新层级 Ultrafast 模式,让 GPT-5.6 Sol 输出速度达每秒 750 token,比标准处理快 14 倍。过去追求低延迟通常要牺牲模型尺寸,现在前沿大模型也能直接进入实时响应场景。目前该服务处于有限预览阶段。

过去在大模型圈子里,大家默认遵循一条潜规则:要聪明,就得忍受它慢吞吞地吐字;要秒回,就只能切到又轻又小的缩水版模型。
OpenAI 打算把这个权衡打破。他们在自家的 API 上线了一个叫 Ultrafast 的全新服务层级,主角是目前最强的 GPT-5.6 Sol。在定制芯片厂商 Cerebras 的加持下,这个模式能跑出每秒 750 个 output token 的生成速度,足足比标准处理快了 14 倍。
每秒 750 token 到底有多离谱
很多人对每秒 750 token 没概念。举个直观的对比:目前市面上主流的 Grok、Claude 或者 GPT 标准处理,输出速度大多在每秒 60 多 token 晃悠;国产的 GLM 5.2 跑在 111 token 左右;就算主打高速的 Gemini 3.7 Flash,速度也就在 340 token 附近。也就是说,Ultrafast 相当于把前沿模型的推断速度直接翻到了竞品快模型的两倍以上。
TechCrunch 提到,像 Anthropic 的 Claude 虽然也有 Fast mode,但根本够不到这个量级。在实际演示里,标准版模型还在逐行挤字,Ultrafast 这边几秒钟就已经吐出了一整屏完整的分析报告。
做到这一步的核心,是 OpenAI 和 Cerebras 的深度绑定。Cerebras 靠着巨大的晶圆级芯片专攻低延迟推理,把大模型极度吃内存带宽和互联开销的瓶颈给硬砸开了。
谁在争分夺秒地用它
速度快了 14 倍,最直接的变化是把以前必须离线做的事情,拉进了实时会话。
根据 OpenAI 透露,首批测试名单里已经有 Jane Street、Podium、Basis 和 Rogo 这些名字。其中最典型的场景是线上突发故障排查(Incident Response)。系统一旦宕机,每秒钟都在亏钱,工程团队需要同时翻日志、看链路追踪、查刚上线的代码提交,以前让大模型分析得等半天,现在它可以一边盯着瞬息万变的数据流,一边帮工程师草拟修复方案。
再比如量化交易与金融风控,行情几毫秒就变一次,只有这种吞吐量才能赶在市场波动前完成逻辑梳理;在电商结账时,AI 可以在用户犹豫撤单的几秒内核对库存并给出方案;而科研人员原本得挂机跑一整夜的批处理实验,现在能在一个下午打上好几个来回。
不过普通人现在还用不上。该服务目前属于小范围定向预览,主要是算力极其紧俏,官方表示会随着容量提升逐步向更多企业放开。
为什么重要
我们认为,Ultrafast 的出现标志着大模型竞争的主战场正在发生微妙的漂移:从纯粹比拼基准测试的智力高低,转向比拼单位时间内能完成多少高价值计算。
对企业和开发者来说,这直接解决了「大脑太重」的落地死结。以前做语音交互或者在线排错,工程团队往往只能忍痛用小模型兜底,导致智商常常不在线;如果每秒 750 token 的前沿智能成为基准,许多原本停留在演示阶段的复杂 Agent 才能真正跑进核心业务。
对行业格局而言,这更像是 OpenAI 给英伟达主导的推理硬件生态投下的一颗震荡弹。长期以来 GPU 集群在吞吐量优化上更偏向批处理,而在单用户极致延迟上,专用芯片架构开始展现恐怖的代差优势。OpenAI 押注 Cerebras,不仅逼着竞品加速自研低延迟推理方案,也在分流底层算力的采购筹码。
当然,隐患也很明显。Cerebras 这类晶圆级方案的良率、部署成本以及扩展性一直饱受争议。如果 Ultrafast 的调用成本居高不下,或者产能迟迟跟不上,它很可能长时间沦为极少数华尔街对冲基金和大型科技公司的专属玩具。但无论如何,当大模型能跟上人类的思维节奏甚至快过手指时,软件的交互逻辑就已经彻底变了。
来源 (3)
- openai.com(在新标签页打开)原文openai.com
- youtube.com(在新标签页打开)报道youtube.com
- techcrunch.com(在新标签页打开)报道techcrunch.com