Portkey 实测 GPT-4 变快：极值延迟砍半，速度逼近 GPT-3.5
Portkey 监测数据显示，GPT-4 响应延迟过去三个月稳步下降，速度正逼近 GPT-3.5。在第 99 百分位的高延迟请求中，耗时缩减超一半；中位数请求的每 token 耗时已低于 1 毫秒。虽然依旧更贵，但对大多数请求来说它已不再慢。
Portkey 监测数据显示，GPT-4 响应延迟过去三个月稳步下降，速度正逼近 GPT-3.5。在第 99 百分位的高延迟请求中，耗时缩减超一半；中位数请求的每 token 耗时已低于 1 毫秒。虽然依旧更贵，但对大多数请求来说它已不再慢。