跳到正文
IFAI

大模型

OpenAI 推出 Codex-Spark:每秒超 1000 token,主打即時程式設計

首次發布 傳播指數 61

OpenAI 釋出 GPT-5.3-Codex-Spark 研究預覽版。這是其首個面向即時互動的程式設計小模型,藉助 Cerebras 硬體將生成速度推至每秒 1000 token 以上。它專注於精準區域性的快速微調,目前已向 ChatGPT Pro 使用者開放測試。

OpenAI 推出 Codex-Spark:每秒超 1000 token,主打即時程式設計
圖:openai.com

很多人寫程式碼時最煩的不是 AI 不懂,而是等它敲字的過程太漫長。哪怕只是改個變數名或者調一下介面樣式,你都得盯著游標一點點吐字,原本連貫的思路直接被打斷了。

OpenAI 在 2 月 12 日放出了 GPT-5.3-Codex-Spark 的研究預覽。這是它家第一款專門為「即時程式設計」打造的小尺寸模型,每秒生成速度超過了 1000 個 token。

它的定位不是去啃需要幹幾個小時的大型工程,而是做你的即時副駕駛,你打斷它、修改需求,它幾乎都是眨眼間把程式碼改好遞給你。

4 萬億電晶體的大晶片,加上徹底重寫的網路協議

要讓模型跑到每秒千字,OpenAI 這次找來了 Cerebras 幫忙。上個月雙方剛簽下超過 100 億美元的多年合作協議,Spark 正是第一項落地產物。

這款模型跑在 Cerebras 的第三代晶圓級晶片 WSE-3 上。這塊擁有 4 萬億電晶體的龐然大物,專攻極低延遲的推理場景。

不過光換晶片還不夠。OpenAI 這次把客戶端到服務端的整套通訊鏈路全給翻新了,預設改用持久的 WebSocket 連線。

這一套工程改造下來,客戶端和服務端往返開銷降了 80%,首字響應時間縮短了一半,每個 token 的傳輸額外開銷也降了 30%。

目前 Spark 只有純文本輸入,上下文長度為 128k。在評價智慧體程式設計能力的 SWE-Bench Pro 和 Terminal-Bench 2.0 測試中,OpenAI 稱它用極其微小的時間代價,拿到了相當強勁的分數。

它的預設行為也做了剋制調整:只做極簡的針對性修改,不會主動自作主張去跑測試,把控制權完全留給人。

目前 ChatGPT Pro 使用者可以在 Codex 桌面應用、CLI 終端以及 VS Code 外掛裡體驗它。它擁有獨立的使用頻率上限,不擠佔標準額度,但高峰期可能需要排隊。API 則先開放給少數設計合作伙伴。

為什麼重要

我們認為,OpenAI 這一步走得極其務實。過去一年行業都在拼誰家模型的長程推理更深、能自主幹幾天的活,但現實中開發者日常打交道最多的,恰恰是修修補補、快速調參的高頻互動。

如果你每天都要寫程式碼,現在就可以去 VS Code 裡試試它。1000 token 每秒的速度意味著你回車剛按下去,完整的函式重構就已經貼在螢幕上了。這種像敲本地快捷鍵一樣的即時感,是傳統雲端大模型給不了的。

對行業來說,這也是給輝達主導的 GPU 生態敲了一記警鐘。OpenAI 並沒有否認 GPU 在吞吐和成本上的通用優勢,但它用真金白銀的 100 億美元大單證明了,極低延遲的互動型任務必須上專用硬體。這無疑給剛完成 10 億美元融資、正籌備上市的 Cerebras 打了一劑最強的廣告。

不過隱患也顯而易見。專用硬體的算力池目前遠不如通用資料中心充裕,OpenAI 已經在公告裡打了預防針,提到高負載時段可能會限流排隊。如果後續無法迅速鋪開產能,極致體驗可能很難普及到更便宜的訂閱檔位。

但整體來看,將長耗時思考留給後臺智慧體,把即時響應交給極速小模型,這種「快慢分工」的混合架構,很大機率會成為下一代 AI 程式設計工具的標配。

來源 (2)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選