OpenAI 最佳化算力告別「模型容量已滿」:遇擁堵自動重試不再直接卡死
OpenAI 工程師 Tibo 宣佈已部署一系列底層改進並擴充算力,大幅減少「所選模型容量已滿」的報錯。遇到伺服器高峰擁堵時,系統將自動在後臺重試並繼續處理,不再直接攔截中斷任務。
用過 ChatGPT 的人,大機率都被那句「Selected model is at capacity. Please try a different model」卡過脖子。思路剛被打斷,往往還得手動重發或換別的模型。
OpenAI 工程師 Tibo 近日在社交平臺透露,團隊剛剛上線了一系列底層改動,並補充了更多算力,專門用來大幅減少這個報錯的出現頻率。
遇到堵車不再彈窗,後臺默默重試
除了補充計算資源,OpenAI 還微調了請求的處理機制。
以往只要機房算力見底,系統會直接打斷請求,把報錯甩給使用者。現在即便遇到容量吃緊,系統也會嘗試在後臺自動重試並繼續處理,而不是直接切斷對話。
Tibo 還向使用者喊話,如果大家在日常使用中依然碰到這個彈窗,可以繼續向他們反饋跟進。
為什麼重要
我們認為,這算是一次非常務實的體驗打磨。對於經常靠 AI 寫長文本、處理複雜任務的使用者來說,半路報錯意味著思路和節奏徹底打亂,自動重試至少把損失降到了最低。
看起來,OpenAI 正在把一部分精力挪到修補可用性上。把排隊和容錯做在底層,而不是讓使用者自己去撞牆換模型,這種潤物細無聲的修修補補,往往比發個噱頭功能更能留住日常使用者。
來源 (1)
- x.com(在新分頁開啟)原文x.com