Portkey 实测 GPT-4 变快：极值延迟砍半，速度逼近 GPT-3.5

如果你这几个月频繁调用 OpenAI 的 API，可能会隐隐觉得，原本那个慢吞吞的 GPT-4 似乎没那么卡了。

AI 运维平台 Portkey 拿数据证实了这个直觉。他们持续观察了过去几个月 GPT-3.5 和 GPT-4 的实际延迟表现，发现 GPT-4 正在大幅提速，和 GPT-3.5 之间的速度鸿沟正在被迅速填平。

极端卡顿直接砍掉了一半

很多人以为 API 响应慢是因为文本太长，但 Portkey 把一次调用的延迟拆成了三块。

第一块是网络往返时间，通常在 100 到 200 毫秒之间；第二块是系统排队时间，大概在 100 到 500 毫秒左右；真正拉开差距的是第三块，也就是模型的实际处理时间。

处理时间并不单纯取决于 Token 数量。Portkey 测出来一个很有意思的现象：一个 204 Token 的简单提示词，GPT-4 在 4.5 秒内就麻利地吐完了答案；但如果换成一个仅有 33 Token 却逻辑复杂的提示词，整个处理过程能硬生生拖上 32 秒。

为了撇开长度干扰，他们统计了每 Token 的平均延迟比率。结果显示，对于中位数请求来说，两款模型的表现差别其实不大，每个 Token 的处理耗时都稳稳压在 1 毫秒以内。

真正的变化发生在第 99 百分位数的极端请求上。短短三个月时间里，GPT-4 在这部分极慢请求下的延迟直接缩减了一半以上。

为什么重要

我们认为，这项实测最直接的价值在于帮开发者重新算账。

之前很多团队在做客服机器人、代码辅助或者交互式应用时，哪怕明知 GPT-4 理解力更好，也只能硬着头皮选 GPT-3.5，原因就是怕 GPT-4 突然卡住几十秒把用户劝退。现在最慢的那 1% 请求延迟被腰斩，意味着只要你的预算扛得住，很多面向终端用户的实时交互场景已经可以直接换上 GPT-4 了。

从技术和行业角度来看，OpenAI 显然在后端推理调度、模型优化或计算资源扩容上下了苦功。模型不仅要拼智商，工程层面的延迟削峰同样是护城河。谁能把最复杂的逻辑推理耗时压缩下来，谁就能吃下更多关键业务。

不过隐患和疑问依然存在。Portkey 提到他们正在跟踪一个新问题：当调用频次接近速率上限时，OpenAI 是不是会主动给开发者降速。再加上 GPT-4 的调用成本依然高昂，模型虽然变快了，钱包能不能承受得起，依然是摆在团队面前最现实的考量。