Portkey 實測 GPT-4 變快：極值延遲砍半，速度逼近 GPT-3.5
Portkey 監測資料顯示，GPT-4 響應延遲過去三個月穩步下降，速度正逼近 GPT-3.5。在第 99 百分位的高延遲請求中，耗時縮減超一半；中位數請求的每 token 耗時已低於 1 毫秒。雖然依舊更貴，但對大多數請求來說它已不再慢。
Portkey 監測資料顯示，GPT-4 響應延遲過去三個月穩步下降，速度正逼近 GPT-3.5。在第 99 百分位的高延遲請求中，耗時縮減超一半；中位數請求的每 token 耗時已低於 1 毫秒。雖然依舊更貴，但對大多數請求來說它已不再慢。