OpenAI、「Predicted Outputs」公開：GPT-4oのコード修正や文章更新を高速化

コードや長文の一部分だけを修正したいのに、モデルが変更のない部分まで延々と再出力するのを待たされた経験は誰にでもあるはずです。

OpenAIは11月4日、gpt-4oおよびgpt-4o-miniの推論遅延を大幅に削減する新機能「Predicted Outputs」を発表しました。

参照テキストを渡して推論を高速化

使い方はシンプルで、APIリクエスト時に「参照文字列（reference string）」をあわせて提供します。

既存のファイルを編集する場合、テキストの大部分は元のまま変わりません。モデルにあらかじめ既知のテキストを渡しておくことで、変わっていない部分のトークン生成をスキップし、素早く応答を返せるようになります。

OpenAIは主な用途として、ドキュメント内のブログ記事の更新、直前の回答をもとにした反復修正、既存ファイル内のコード書き換えなどを挙げています。

なぜ重要か

数十行の修正のためにファイル全体を再生成させる処理は、開発ツールやエディタの体感速度を落とす大きな原因でした。

Predicted Outputsは、コード補完やインライン編集という最も頻度の高いユースケースを的確に突いた現実的な改善だと考えられます。エディタ拡張機能や文書作成ツールの開発者にとっては、ユーザーの待ち時間を削る有効な手段になります。

ただし、対象モデルは現時点でgpt-4oとgpt-4o-miniに限られ、手元に比較元となる参照テキストがある状況でしか使えません。ゼロから新規コンテンツを生成する用途では恩恵を受けられない点には注意が必要です。