路透社：OpenAI 擬推帶記憶的 API，呼叫成本最高可降 20 倍

現在做大模型應用，最折磨開發者的不是模型不夠聰明，而是賬單來得太快。

按 OpenAI 目前的計費規則，每跟使用者聊一句，客戶端就得把之前的整段對話歷史重新打包傳送一次。處理一份單頁文件可能就要花掉 10 美分，一來二去，中小團隊的成本根本兜不住。

據路透社報道，OpenAI 準備在 11 月 6 日舊金山舉辦的首屆開發者大會上解決這個問題。知情人士透露，他們計劃推出一系列重大更新，核心目的就是讓開發者呼叫其模型的成本大幅下降、速度大幅提升。

把對話歷史存起來，成本最高省 20 倍

這次更新裡最引人注目的，是為開發工具引入記憶儲存能力，也就是所謂的有狀態介面（stateful API）。

說白了，以前的介面是健忘的，應用每次發請求都得自己帶上全部上下文；改版之後，系統能記住對話歷史，開發者不必重複傳輸歷史資訊。

知情人士稱，這項改動在理論上能讓應用開發者的呼叫成本直接降低高達 20 倍。對於那些試圖靠賣 AI 軟體活下去的初創團隊來說，這幾乎是生死攸關的減負。

除了降本，OpenAI 還打算向開發者開放視覺介面（Vision API）。

這項能分析和描述影像的多模態能力前幾週剛向 ChatGPT 普通使用者開放，如今終於要開放給第三方開發者，用來做醫療影像分析或娛樂類工具。

外掛熱度驟降，必須給開發者一顆定心丸

OpenAI 這麼急著討好開發者，背後其實有很現實的增長壓力。

知情人士透露，OpenAI 高管曾預計今年營收達到 2 億美元，到 2024 年要衝上 10 億美元。但要把技術變成平臺，光靠 C 端買 Plus 顯然不夠，執行長 Sam Altman 一直想建立以 OpenAI 為核心的軟體生態。

可事情走得並不順遂。今年早些時候，OpenAI 倉促推出了 ChatGPT 外掛，原本寄希望於把它做成像蘋果 App Store 一樣的搖錢樹。

結果不少排名前 30 的熱門外掛開發者反映，經歷了一開始的嚐鮮熱潮後，活躍度掉得非常厲害。比如知名的學術外掛 Scholar AI，近期日活躍使用者也只剩大約 7000 人。

與此同時，競爭對手正在加速蠶食市場。根據 PitchBook 的資料，今年有超過 200 億美元湧入 AI 初創公司，但投資人越來越擔心初創專案對 OpenAI 的單向依賴，很多公司已經開始轉投 Meta 的開源模型 Llama 或其他競品。

為什麼重要

對於廣大開發者來說，這套更新的價值非常現實：它直接決定了你的專案能不能在賬面上打平。如果記憶儲存真能省下最高 20 倍的開銷，原本跑不通的很多長文本分析、連續客服機器人，現在就值得重新做一遍算盤。

對整個行業而言，OpenAI 的這一招非常狠。前幾個月 Meta 的開源模型靠著免授權費和可控性搶走了不少企業客戶，OpenAI 這一次直接從成本端開刀，給閉源模型的實用化搬掉了最大的絆腳石，這會倒逼 Google 等雲廠商不得不跟進降價。

我們認為，OpenAI 這次調整策略很聰明，但隱患依然存在。放棄雞肋的外掛平臺敘事、老老實實做好底層介面和基建，是贏回開發者信任的正確動作。

但看起來，開發者的核心顧慮並沒有徹底解除。今天 OpenAI 把狀態儲存和視覺能力收攏進自己的 API，明天就可能直接做一個官方功能，把跑在上面的套殼應用一腳踢開。如何證明自己是底層水力發電廠而不是掠食者，依然是 Sam Altman 沒解答完的難題。