OpenAI 找到推理降本新法：成本砍掉大半，未登录版仅需数百张显卡

跑大模型就像开着一辆油耗惊人的超级跑车，所有人都在拼命买显卡、建数据中心。但大家往往忘了，最立竿见影的省钱办法其实是给发动机做减法。

据 The Information 报道，OpenAI 内部团队捣鼓出了一套全新的优化方案，直接将模型推理成本压低了 50% 以上。

最夸张的例子发生在免费且未登录的 ChatGPT 用户群上。原本支撑这部分庞大访问量需要海量算力，但在应用新优化之后，OpenAI 据称把所需的英伟达 GPU 数量临时压到了「仅仅几百张」。

到底用了什么障眼法

虽然 OpenAI 官方没有公开具体的技术细节，但从行业共识来看，能一下子把成本砍半，大概率是几种成熟手法的组合拳。

这里面可能包括模型量化，也就是调低模型权重的数值精度，让显存压力瞬间变小。还有键值缓存（KV Caching）来复用之前的计算结果，以及把多个用户的提问打包批量处理。

另一个很关键的手段是查询路由。说白了就是装一个前置分流器，如果系统判断用户的提问很简单，比如「今天星期几」，就直接扔给成本极低的小模型去回答，不劳烦高耗能的旗舰大模型。

但这套激进的做法并非没有代价。

量化可能会悄悄吃掉模型的回答精度；任务路由如果偶尔看走眼，把复杂推理当成了闲聊，回答质量就会立刻翻车；而一旦激进地压缩上下文，甚至可能会在长对话里漏掉一些关键的安全审查信号。

逼出来的利润率

OpenAI 这么拼命省算力，直接原因还是钱的问题。

报道提到，OpenAI 在 2025 年第一季度的 API 业务毛利率大概在 39%，虽然高于前一年的 33%，但距离它自己定下的年底 52% 目标还有很大差距。换句话说，在接下来的几个季度里，他们的平均毛利率必须冲到 56% 左右才行。

算力短缺也是全行业的普遍痛点。之前甚至出现过因为算力容量吃紧，Google 不得不限制 Meta 访问其 Gemini 的情况。即使科技巨头们豪掷百亿美元建机房，把算力接上电也得等上几个月甚至几年，相比之下，在软件层面挤水分要快得多。

同行其实也在做同样的事。比如 Anthropic 就把自己的推理效率优化方案称为「计算乘数」（Compute Multipliers），其首席执行官 Dario Amodei 甚至刻意对外界保密细节，防止竞争对手抄作业。

为什么重要

对普通开发者和中小企业来说，这绝对是个好消息。如果 OpenAI 把抠出来的成本空间让利给市场，我们大概率很快能看到 API 进一步降价，或者 ChatGPT 订阅用户的速率限制被大幅放宽。这意味着以前因为太贵而跑不起复杂 Agent 流程的团队，现在可以更放心地把大模型嵌进日常业务里。

对行业格局来说，这也意味着大模型竞赛正在从单纯的「拼谁卡多」转向「拼谁算得巧」。算力芯片的交付周期太长，谁能在现有硬件上用更少算力榨出更多吞吐量，谁就能拿到更大的价格战主动权。

不过我们认为，这种极致优化的隐患也恰恰藏在细节里。如果各家为了降成本而在后端大量混合使用路由和精度降级，普通用户其实很难察觉自己拿到的是不是原汁原味的满血版回答。当性能、精度和成本变成一道不断妥协的算术题，模型输出的稳定性和一致性可能会是接下来最让人头疼的问题。