跳到正文
IFAI

大模型

OpenAI 最佳化算力告別「模型容量已滿」:遇擁堵自動重試不再直接卡死

首次發布 傳播指數 47

OpenAI 工程師 Tibo 宣佈已部署一系列底層改進並擴充算力,大幅減少「所選模型容量已滿」的報錯。遇到伺服器高峰擁堵時,系統將自動在後臺重試並繼續處理,不再直接攔截中斷任務。

用過 ChatGPT 的人,大機率都被那句「Selected model is at capacity. Please try a different model」卡過脖子。思路剛被打斷,往往還得手動重發或換別的模型。

OpenAI 工程師 Tibo 近日在社交平臺透露,團隊剛剛上線了一系列底層改動,並補充了更多算力,專門用來大幅減少這個報錯的出現頻率。

遇到堵車不再彈窗,後臺默默重試

除了補充計算資源,OpenAI 還微調了請求的處理機制。

以往只要機房算力見底,系統會直接打斷請求,把報錯甩給使用者。現在即便遇到容量吃緊,系統也會嘗試在後臺自動重試並繼續處理,而不是直接切斷對話。

Tibo 還向使用者喊話,如果大家在日常使用中依然碰到這個彈窗,可以繼續向他們反饋跟進。

為什麼重要

我們認為,這算是一次非常務實的體驗打磨。對於經常靠 AI 寫長文本、處理複雜任務的使用者來說,半路報錯意味著思路和節奏徹底打亂,自動重試至少把損失降到了最低。

看起來,OpenAI 正在把一部分精力挪到修補可用性上。把排隊和容錯做在底層,而不是讓使用者自己去撞牆換模型,這種潤物細無聲的修修補補,往往比發個噱頭功能更能留住日常使用者。

來源 (1)

  1. [1]
    x.com(在新分頁開啟)原文x.com

每日 AI 內容精選