OpenAI 自研推理芯片跑分出炉：延迟降低最多 3.6 倍，能效提升 1.9 倍

造大模型的人，终于把刀挥向了自己最头疼的算力账单。

OpenAI 在 Hot Chips 大会上公布了首款自研 AI 推理芯片 Jalapeño（墨西哥辣椒）的首批跑分。这颗与 Broadcom 联合研发的 ASIC 芯片，针对当下最吃算力的 Agent 交互场景设计，在 SemiAnalysis 的 InferenceX 公开基准测试中，交出了一份亮眼成绩单。

面对作为对比的 Nvidia GB200 与 GB300 超级芯片系统，Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B 以及 Kimi K2.5 1T 三款开源大模型上，峰值每瓦吞吐量提升了 1.5 到 1.9 倍，端到端延迟降低了 1.7 到 3.6 倍。如果是高交互负载，性能甚至能拉开 2.1 到 4.1 倍的差距。

用 AI 设计芯片，专治数据搬运卡顿

传统硬件做推理，往往要在吞吐量和低延迟之间二选一：要么一口气塞满批处理，延迟飙升；要么单次跑得飞快，单卡利用率惨不忍睹。Jalapeño 试图打破这个权衡。

大模型推理通常分两步：处理提示词的 Prefill 阶段拼算力，一个词一个词往外蹦的 Decode 阶段拼内存带宽。Jalapeño 的核心逻辑是极力压榨数据移动和芯片间通信延迟，将 KV 缓存等关键模型状态直接放在本地显存，减少核心干等数据的时间。

芯片的额定功耗是 700 瓦，但在实际测试负载中，持续功耗保持在 550 瓦及以下。在参数量达到万亿级别的 Kimi 模型上，它依然跑出了对比系统 3.4 倍的超低延迟。

更有意思的是它的研发过程：OpenAI 用自家模型帮工程师做设计、电路优化和验证，从立项到流片只花了 9 个月。后来团队用 Codex 搭配 GPT-Astra，只用两个月就给原本不在量产计划内的三款开源模型写好了高性能算子，在部分注意力模块上，AI 生成的代码甚至比人类专家写的还要快 1.5 到 1.8 倍。

不过，这颗芯片今年年底只会在 OpenAI 内部进行小规模部署，真正的大规模铺量要等到 2027 年。OpenAI 硬件副总裁 Richard Ho 也给外界泼了点冷水：它不会完全取代现有的采购体系，OpenAI 依然会重度采购 Nvidia 等伙伴的芯片。

为什么重要

我们认为，Jalapeño 最大的现实价值，是给未来常态化的 AI Agent 搬开了一块巨大的成本和延迟绊脚石。如果是普通的单次对话，多等两秒无伤大雅；但一旦涉及需要连续执行十几步的自主 Agent，延迟会层层累加，推理账单也会指数级膨胀。Jalapeño 在超低延迟下依然能维持高每瓦性能，说白了，就是为了让多步骤 Agent 在经济上真正成立。

对行业来说，这也是大模型巨头走向全面垂直整合的标志性一步。从模型、编译调度软件到底层网络和芯片，全栈自研意味着软硬件可以互相迁就、深度定制。虽然第一代芯片在 2027 年铺量时可能会撞上 Nvidia 更先进的架构，但它给了 OpenAI 极大的议价权和供应链安全感，不再被单一硬件供应商卡紧脖子。

看起来这步棋走得非常务实：OpenAI 没有盲目去啃难度最高的通用大模型训练，而是先切入现金流消耗最大的推理环节。第二代和第三代已经在规划中。这套「AI 辅助设计芯片、再跑 AI 模型」的自增强飞轮一旦转顺，软硬件一体化定制的门槛，很可能会被再次拉高。