OpenAI 自研推理晶片跑分出爐：延遲降低最多 3.6 倍，能效提升 1.9 倍

造大模型的人，終於把刀揮向了自己最頭疼的算力賬單。

OpenAI 在 Hot Chips 大會上公佈了首款自研 AI 推理晶片 Jalapeño（墨西哥辣椒）的首批跑分。這顆與 Broadcom 聯合研發的 ASIC 晶片，針對當下最吃算力的 Agent 互動場景設計，在 SemiAnalysis 的 InferenceX 公開基準測試中，交出了一份亮眼成績單。

面對作為對比的 Nvidia GB200 與 GB300 超級晶片系統，Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B 以及 Kimi K2.5 1T 三款開源大模型上，峰值每瓦吞吐量提升了 1.5 到 1.9 倍，端到端延遲降低了 1.7 到 3.6 倍。如果是高互動負載，效能甚至能拉開 2.1 到 4.1 倍的差距。

用 AI 設計晶片，專治資料搬運卡頓

傳統硬體做推理，往往要在吞吐量和低延遲之間二選一：要麼一口氣塞滿批處理，延遲飆升；要麼單次跑得飛快，單卡利用率慘不忍睹。Jalapeño 試圖打破這個權衡。

大模型推理通常分兩步：處理提示詞的 Prefill 階段拼算力，一個詞一個詞往外蹦的 Decode 階段拼記憶體頻寬。Jalapeño 的核心邏輯是極力壓榨資料移動和晶片間通訊延遲，將 KV 快取等關鍵模型狀態直接放在本地視訊記憶體，減少核心乾等資料的時間。

晶片的額定功耗是 700 瓦，但在實際測試負載中，持續功耗保持在 550 瓦及以下。在引數量達到萬億級別的 Kimi 模型上，它依然跑出了對比系統 3.4 倍的超低延遲。

更有意思的是它的研發過程：OpenAI 用自家模型幫工程師做設計、電路最佳化和驗證，從立項到流片只花了 9 個月。後來團隊用 Codex 搭配 GPT-Astra，只用兩個月就給原本不在量產計劃內的三款開源模型寫好了高效能運算元，在部分注意力模組上，AI 生成的程式碼甚至比人類專家寫的還要快 1.5 到 1.8 倍。

不過，這顆晶片今年年底只會在 OpenAI 內部進行小規模部署，真正的大規模鋪量要等到 2027 年。OpenAI 硬體副總裁 Richard Ho 也給外界潑了點冷水：它不會完全取代現有的採購體系，OpenAI 依然會重度採購 Nvidia 等夥伴的晶片。

為什麼重要

我們認為，Jalapeño 最大的現實價值，是給未來常態化的 AI Agent 搬開了一塊巨大的成本和延遲絆腳石。如果是普通的單次對話，多等兩秒無傷大雅；但一旦涉及需要連續執行十幾步的自主 Agent，延遲會層層累加，推理賬單也會指數級膨脹。Jalapeño 在超低延遲下依然能維持高每瓦效能，說白了，就是為了讓多步驟 Agent 在經濟上真正成立。

對行業來說，這也是大模型巨頭走向全面垂直整合的標誌性一步。從模型、編譯排程軟體到底層網路和晶片，全棧自研意味著軟硬體可以互相遷就、深度定製。雖然第一代晶片在 2027 年鋪量時可能會撞上 Nvidia 更先進的架構，但它給了 OpenAI 極大的議價權和供應鏈安全感，不再被單一硬體供應商卡緊脖子。

看起來這步棋走得非常務實：OpenAI 沒有盲目去啃難度最高的通用大模型訓練，而是先切入現金流消耗最大的推理環節。第二代和第三代已經在規劃中。這套「AI 輔助設計晶片、再跑 AI 模型」的自增強飛輪一旦轉順，軟硬體一體化定製的門檻，很可能會被再次拉高。