OpenAI 上線 Ultrafast 模式:GPT-5.6 Sol 快 14 倍,每秒 750 token
OpenAI 聯合 Cerebras 推出 API 新層級 Ultrafast 模式,讓 GPT-5.6 Sol 輸出速度達每秒 750 token,比標準處理快 14 倍。過去追求低延遲通常要犧牲模型尺寸,現在前沿大模型也能直接進入即時響應場景。目前該服務處於有限預覽階段。
OpenAI 聯合 Cerebras 推出 API 新層級 Ultrafast 模式,讓 GPT-5.6 Sol 輸出速度達每秒 750 token,比標準處理快 14 倍。過去追求低延遲通常要犧牲模型尺寸,現在前沿大模型也能直接進入即時響應場景。目前該服務處於有限預覽階段。
Cognition 釋出專為 Devin 打造的程式設計模型 SWE-1.7。該模型基於開源的 Kimi K2.7,通過強化學習將效能拉至逼近 GPT-5.5 與 Opus 4.8,且成本大幅降低。目前已在 Devin 全平臺上線,藉助 Cerebras 晶片實現每秒 1000 token 的極速推理。
OpenAI 為 Responses API 增加 WebSocket 模式。該模式通過持久長連線與記憶體狀態快取,避免每次 HTTP 請求重複傳輸和校驗歷史,將智慧體迴圈端到端延遲降低最高 40%,首字響應時間縮短近 45%,並在 Cursor 等編碼工具中全面落地。
據 The Information 報道,OpenAI 同意在未來三年向晶片初創公司 Cerebras 支付超 200 億美元租用算力伺服器,並出資約 10 億美元資助資料中心,以換取 Cerebras 最多 10% 的股權。這項新承諾比 1 月份的協議規模翻倍,直接為 Cerebras 衝擊二季度 IPO 鋪平了道路。
OpenAI 釋出 GPT-5.3-Codex-Spark 研究預覽版。這是其首個面向即時互動的程式設計小模型,藉助 Cerebras 硬體將生成速度推至每秒 1000 token 以上。它專注於精準區域性的快速微調,目前已向 ChatGPT Pro 使用者開放測試。
Perplexity 釋出新版自研模型 Sonar。它基於 Llama 3.3 70B 微調,由 Cerebras 提供推理支援,生成速度達每秒 1200 token。官方稱其使用者滿意度超越 Claude 3.5 Sonnet,目前已面向 Pro 使用者開放測試。