Portkey調査：GPT-4の遅延が大幅改善、極端な待ち時間が3カ月で半減
Portkeyの直近3カ月の観測データによると、GPT-4の応答遅延が着実に低下し、GPT-3.5との速度差が縮まっています。特に上位99パーセンタイルのレイテンシは半分以下に短縮され、通常リクエストでは1トークンあたり1ミリ秒未満を記録。処理速度のボトルネックは解消に向かっています。
Portkeyの直近3カ月の観測データによると、GPT-4の応答遅延が着実に低下し、GPT-3.5との速度差が縮まっています。特に上位99パーセンタイルのレイテンシは半分以下に短縮され、通常リクエストでは1トークンあたり1ミリ秒未満を記録。処理速度のボトルネックは解消に向かっています。