Inception 发布扩散大模型 Mercury 3:每秒超千 token,对标 GPT-6 Luna
Inception 推出扩散式语言模型 Mercury 3。其在英伟达 GPU 上生成速度达每秒 1068 token,较主流轻量模型快 4 至 8 倍,并支持 100 万 token 上下文。这意味着扩散架构也能扩展至复杂大模型,特别适合网页智能体等极度敏感延迟的场景。
大家习惯了看大模型像打字机一样一个词一个词往外蹦,但如果换一种思路,让模型像画图一样,一口气把整段文字铺出来再逐步精修呢?
AI 初创团队 Inception 正式发布了扩散语言模型 Mercury 3。官方给出的实测成绩单挺吓人:在英伟达 GPU 上,它的生成速度冲到了每秒 1068 个 token,大概是 OpenAI 的 GPT-6 Luna 和 Anthropic 的 Claude Haiku 5.5 的 4 到 8 倍。
像画画一样写字,一口气吐出一千词
目前主流的自回归大语言模型,本质上都是「单字接龙」,下一个词吐不出来,后面的就全得卡着。Mercury 3 走的是扩散机制,先粗略起草一批词,再同步迭代打磨,所以生成吞吐能直接拉到一千词以上。
参数规模上,Mercury 3 比初代的 Mercury 1 扩充了 40 倍以上,基准测试的智能表现提升了 3 倍,上下文窗口也从 2.5 版本的 26 万 token 扩展到了 100 万 token。官方表示,模型的生成速度并没有因为体量暴涨而变慢。
Inception 联合创始人 Stefano Ermon 提到,扩散模型的扩展上限主要受限于算力和数据,并不存在根本性的算法瓶颈,而且下一代模型已经在训练中了。
不过在综合基准测试中,Mercury 3 并不算完全碾压。在适度推理难度的测试项里,GPT-6 Luna 和 Claude Haiku 5.5 各自在一部分题目中依然处于领先位置。
先让智能体和语音助手告别卡顿
速度拉起来之后,最先受益的是那些对延迟容忍度极低的场景。TinyFish AI 在 50 个真实的 Mind2Web 网页操作任务中测试,Mercury 3 完成了其中 50% 的任务,显著高过 GPT-6.1-Sol,步数和消耗 token 差不多,但调用成本低很多。
做智能眼镜搜索的 Octen AI 提到,搜索本身只要 80 毫秒,以前系统瓶颈全卡在模型生成上。接入 Mercury 3 后,生成耗时中位数压缩到了 0.9 秒,端到端完整响应缩短到了 2.2 秒。
在线教育产品 RevisionDojo 用它给学生批改作业,提示和释义基本在 1 秒左右返回;客服平台 Lorikeet 也拿它接管高合规要求的语音与聊天支持。
定价方面,Mercury 3 标准牌价是输入每百万 token 收 0.20 美元,输出每百万 token 收 0.70 美元。目前上线期打五折,输入只要 0.10 美元,输出 0.35 美元,缓存 token 还能在输入价基础上再打一折。
为什么重要
对于开发实时应用的团队来说,Mercury 3 非常值得现在跑一组对比测试。如果你的产品涉及电话客服、实时口语外教或者多步骤的网页操作智能体,原本模型停顿两三秒会让用户明显出戏,换上千字吞吐的模型能直接把卡顿感抹平。而且它兼容 OpenAI API 格式,在 OpenRouter、Baseten 和 Vercel 上都能即插即用,切换成本很低。
这说明行业对「极速推理」的争夺已经彻底白热化。OpenAI 在 9 月 29 日推出了 GPT-6 Astra Ultrafast,在 Codex 里冲到 300 tokens/s,此前还签下了 Cerebras 的 750 兆瓦算力协议,试图通过定制芯片和系统优化来提速。而 Inception 走了一条更激进的路线:直接在底层算法架构上掀桌子,用扩散模型来硬吃自回归。
我们认为,Inception 的切入点非常聪明,它不跟最顶级的巨无霸模型硬拼高难度数理逻辑,而是盯准轻量级模型最需要的速度痛点做文章。但隐患同样明显:扩散模型在极长链条的深层推理上是否容易翻车,业内还没有充分验证;另外真实业务中不仅看生成速度,网络建联和工具调用的耗时同样是大头,单纯文本吐得快并不代表整个工作流不会被别处卡死。
来源 (1)
- inceptionlabs.ai(在新标签页打开)原文inceptionlabs.ai