跳到正文
IFAI

大模型

OpenAI 推出 GPT-4o 實驗版:單次最高輸出 64K token

首次發布 傳播指數 60

OpenAI 推出實驗版模型 gpt-4o-64k-output-alpha,單次請求最多能生成 64K token。由於長輸出推理成本更高,該模型每百萬輸入 token 收費 6 美元,輸出為 18 美元,目前僅面向 Alpha 測試使用者開放。

如果你經常讓 AI 幫忙寫完整專案程式碼,或者一口氣生成長篇調研報告,肯定遇到過話說了一半突然卡住的尷尬。你不得不回一句繼續,拼出來的程式碼還經常少括號。

OpenAI 悄悄上線了一個新實驗版本,名字就叫 GPT-4o Long Output。它把單次請求的最大輸出長度直接拉到了 64K token,也就是大約 64000 個 token。

目前這個模型只向參與 Alpha 測試的開發者開放,呼叫的模型名稱是 gpt-4o-64k-output-alpha。

一口氣輸出幾萬字,代價是漲價

能一口氣吐出 64K token 確實省心,但天下沒有免費的午餐。

OpenAI 在官方說明中明確表示,從推理角度來看,超長輸出消耗的算力成本更高。為了覆蓋這些支出,這個實驗模型的單 token 價格直接水漲船高。

具體的定價是輸入每 100 萬 token 收費 6 美元,輸出每 100 萬 token 收費 18 美元。相比之下,這比常規版本的呼叫成本高出不少。

與此同時,微軟也跟進了自家生態裡的動作,宣佈在 Azure 平臺上線帶有視覺支援的 GPT-4o mini API,首批覆蓋全球及美東區域標準部署,開發者可以在 Playground 裡直接測試視覺識別和多模態理解。

為什麼重要

我們認為,OpenAI 這次調整切中的是一個讓很多開發者頭疼已久的真實痛點。

以前大模型普遍是輸入上下文給得很慷慨,動輒 128K 甚至更高,但單次輸出往往被卡在 4K 左右。這意味著想讓 AI 生成複雜的端到端程式、長篇小說章節或者幾萬字的分析報告,開發者必須自己寫一套拆分任務、拼接結果、維持上下文一致性的中間層程式碼,既脆弱又容易出錯。

把單次輸出放寬到 64K,看起來是一次簡單的引數解綁,但背後需要模型在極長文本生成時依然保持注意力不渙散、邏輯不崩盤,這本身對底層推理架構也是個考驗。

不過,這個方案目前也有顯而易見的門檻。首先是每百萬 token 18 美元的輸出價格,如果頻繁跑滿 64K 輸出,一次請求的成本就超過 1 美元,對於普通個人開發者或者預算敏感型團隊來說並不算便宜。

更現實的隱患是響應延遲。一口氣輸出幾萬 token 意味著請求可能需要掛起幾十秒甚至更久,如何處理網路超時和流式傳輸的中斷,會直接考驗產品的穩定性。無論如何,對於確實需要完整產出長內容的複雜業務來說,這依然是一個非常值得關注的探索方向。

來源 (2)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com
  2. [2]

每日 AI 內容精選