Portkey調査：GPT-4の遅延が大幅改善、極端な待ち時間が3カ月で半減

ここ数カ月、OpenAIのAPIを使っていて「GPT-4の返答が前より引っかからなくなった」と感じていたなら、その感覚はおそらく正解です。

AI開発運用プラットフォームのPortkeyが、過去数カ月にわたるGPT-3.5とGPT-4のレイテンシデータを公開しました。計測結果によると、GPT-4の応答速度は着実に向上しており、高速だったGPT-3.5との速度差を急速に縮めています。

最悪パターンの遅延が3カ月で半減

Portkeyの分析によると、API呼び出しにかかる時間は大きく3つに分かれます。往復通信にかかる100〜200ミリ秒、キューの待機時間である100〜500ミリ秒、そしてプロンプトの難易度や長さに依存する処理時間です。

興味深いのは、トークン数が多いからといって必ずしも遅くなるわけではない点です。204トークンの単純なプロンプトがわずか4.5秒で完了した一方、複雑な思考を要する33トークンのプロンプトには32秒もかかりました。

トークンあたりの処理時間を中央値で見ると、GPT-3.5もGPT-4も1トークンあたり1ミリ秒未満を維持しており、大きな差はありません。

劇的な改善が見られたのは、最も処理が重い上位1パーセント、いわゆる第99パーセンタイルのリクエストです。この極端に遅かったリクエストのレイテンシが、わずか3カ月で半分以下にまで短縮されていました。

なぜ重要か

現場の開発者にとって、モデル選定の前提が大きく変わる動きだと考えられます。

これまでチャットボットや対話型ツールでは、ユーザーを待たせないために、頭脳としてはGPT-4を使いたくてもGPT-3.5で妥協せざるを得ない場面が多くありました。しかし、最悪ケースの遅延が半減したことで、予算さえ許せばリアルタイムなプロダクトにもGPT-4を投入しやすくなります。

業界全体で見ても、OpenAIがモデルの賢さだけでなく、推論基盤のチューニングや負荷分散といった地道なエンジニアリングを着実に進めていることが窺えます。

ただし懸念点もあります。GPT-4の利用料金は依然として高額なうえ、Portkeyは「レート制限に近づくとOpenAI側で意図的な減速が行われているのか」という別の疑問についても調査を進めています。速度の壁は崩れつつありますが、コスト管理のシビアさは変わりません。