OpenAI 找到推理降本新法：成本砍掉大半，未登入版僅需數百張顯示卡

跑大模型就像開著一輛油耗驚人的超級跑車，所有人都在拼命買顯示卡、建資料中心。但大家往往忘了，最立竿見影的省錢辦法其實是給發動機做減法。

據 The Information 報道，OpenAI 內部團隊搗鼓出了一套全新的最佳化方案，直接將模型推理成本壓低了 50% 以上。

最誇張的例子發生在免費且未登入的 ChatGPT 使用者群上。原本支撐這部分龐大訪問量需要海量算力，但在應用新最佳化之後，OpenAI 據稱把所需的輝達 GPU 數量臨時壓到了「僅僅幾百張」。

到底用了什麼障眼法

雖然 OpenAI 官方沒有公開具體的技術細節，但從行業共識來看，能一下子把成本砍半，大機率是幾種成熟手法的組合拳。

這裡面可能包括模型量化，也就是調低模型權重的數值精度，讓視訊記憶體壓力瞬間變小。還有鍵值快取（KV Caching）來復用之前的計算結果，以及把多個使用者的提問打包批次處理。

另一個很關鍵的手段是查詢路由。說白了就是裝一個前置分流器，如果系統判斷使用者的提問很簡單，比如「今天星期幾」，就直接扔給成本極低的小模型去回答，不勞煩高耗能的旗艦大模型。

但這套激進的做法並非沒有代價。

量化可能會悄悄吃掉模型的回答精度；任務路由如果偶爾看走眼，把複雜推理當成了閒聊，回答質量就會立刻翻車；而一旦激進地壓縮上下文，甚至可能會在長對話裡漏掉一些關鍵的安全審查訊號。

逼出來的利潤率

OpenAI 這麼拼命省算力，直接原因還是錢的問題。

報道提到，OpenAI 在 2025 年第一季度的 API 業務毛利率大概在 39%，雖然高於前一年的 33%，但距離它自己定下的年底 52% 目標還有很大差距。換句話說，在接下來的幾個季度裡，他們的平均毛利率必須衝到 56% 左右才行。

算力短缺也是全行業的普遍痛點。之前甚至出現過因為算力容量吃緊，Google 不得不限制 Meta 訪問其 Gemini 的情況。即使科技巨頭們豪擲百億美元建機房，把算力接上電也得等上幾個月甚至幾年，相比之下，在軟體層面擠水分要快得多。

同行其實也在做同樣的事。比如 Anthropic 就把自己的推理效率最佳化方案稱為「計算乘數」（Compute Multipliers），其執行長 Dario Amodei 甚至刻意對外界保密細節，防止競爭對手抄作業。

為什麼重要

對普通開發者和中小企業來說，這絕對是個好訊息。如果 OpenAI 把摳出來的成本空間讓利給市場，我們大機率很快能看到 API 進一步降價，或者 ChatGPT 訂閱使用者的速率限制被大幅放寬。這意味著以前因為太貴而跑不起復雜 Agent 流程的團隊，現在可以更放心地把大模型嵌進日常業務裡。

對行業格局來說，這也意味著大模型競賽正在從單純的「拼誰卡多」轉向「拼誰算得巧」。算力晶片的交付週期太長，誰能在現有硬體上用更少算力榨出更多吞吐量，誰就能拿到更大的價格戰主動權。

不過我們認為，這種極致最佳化的隱患也恰恰藏在細節裡。如果各家為了降成本而在後端大量混合使用路由和精度降級，普通使用者其實很難察覺自己拿到的是不是原汁原味的滿血版回答。當效能、精度和成本變成一道不斷妥協的算術題，模型輸出的穩定性和一致性可能會是接下來最讓人頭疼的問題。