Portkey 實測 GPT-4 變快：極值延遲砍半，速度逼近 GPT-3.5

如果你這幾個月頻繁呼叫 OpenAI 的 API，可能會隱隱覺得，原本那個慢吞吞的 GPT-4 似乎沒那麼卡了。

AI 運維平臺 Portkey 拿資料證實了這個直覺。他們持續觀察了過去幾個月 GPT-3.5 和 GPT-4 的實際延遲表現，發現 GPT-4 正在大幅提速，和 GPT-3.5 之間的速度鴻溝正在被迅速填平。

極端卡頓直接砍掉了一半

很多人以為 API 響應慢是因為文本太長，但 Portkey 把一次呼叫的延遲拆成了三塊。

第一塊是網路往返時間，通常在 100 到 200 毫秒之間；第二塊是系統排隊時間，大概在 100 到 500 毫秒左右；真正拉開差距的是第三塊，也就是模型的實際處理時間。

處理時間並不單純取決於 Token 數量。Portkey 測出來一個很有意思的現象：一個 204 Token 的簡單提示詞，GPT-4 在 4.5 秒內就麻利地吐完了答案；但如果換成一個僅有 33 Token 卻邏輯複雜的提示詞，整個處理過程能硬生生拖上 32 秒。

為了撇開長度干擾，他們統計了每 Token 的平均延遲比率。結果顯示，對於中位數請求來說，兩款模型的表現差別其實不大，每個 Token 的處理耗時都穩穩壓在 1 毫秒以內。

真正的變化發生在第 99 百分位數的極端請求上。短短三個月時間裡，GPT-4 在這部分極慢請求下的延遲直接縮減了一半以上。

為什麼重要

我們認為，這項實測最直接的價值在於幫開發者重新算賬。

之前很多團隊在做客服機器人、程式碼輔助或者互動式應用時，哪怕明知 GPT-4 理解力更好，也只能硬著頭皮選 GPT-3.5，原因就是怕 GPT-4 突然卡住幾十秒把使用者勸退。現在最慢的那 1% 請求延遲被腰斬，意味著只要你的預算扛得住，很多面向終端使用者的即時互動場景已經可以直接換上 GPT-4 了。

從技術和行業角度來看，OpenAI 顯然在後端推理排程、模型最佳化或計算資源擴容上下了苦功。模型不僅要拼智商，工程層面的延遲削峰同樣是護城河。誰能把最複雜的邏輯推理耗時壓縮下來，誰就能吃下更多關鍵業務。

不過隱患和疑問依然存在。Portkey 提到他們正在跟蹤一個新問題：當呼叫頻次接近速率上限時，OpenAI 是不是會主動給開發者降速。再加上 GPT-4 的呼叫成本依然高昂，模型雖然變快了，錢包能不能承受得起，依然是擺在團隊面前最現實的考量。