OpenAI、最大64Kトークン出力の「GPT-4o」実験版を公開

AIに長大なプログラムのコード生成や網羅的な調査レポートの作成を依頼した際、途中で出力が突然止まってしまい、「続けて」と入力し直した経験がある人は多いはずです。

OpenAIは、1リクエストあたり最大64K（6万4000）トークンの出力をサポートする実験的モデル「GPT-4o Long Output」の提供を静かに開始しました。

現在、このモデルはAlphaプログラムに参加している開発者を対象に公開されており、「gpt-4o-64k-output-alpha」というモデル名でアクセスできます。

出力枠拡大の代償は推論コストの引き上げ

1回のリクエストで大量のテキストを出力できるようになった一方で、利用料金は通常版と比べて高めに設定されています。

OpenAIの説明によると、超長文の生成は推論の観点からコストが大幅に高くなるため、モデルのトークン単価が引き上げられました。

具体的な価格は、入力が100万トークンあたり6.00ドル、出力が100万トークンあたり18.00ドルとなっています。

なお、これに関連してMicrosoftもAzure環境向けにビジョン機能をサポートした「GPT-4o mini」APIの提供を開始し、米国東部およびグローバルリージョンで画像や映像を入力とした処理が可能になったことを発表しています。

なぜ重要か

私たちは、今回の長文出力モデルの投入は、これまで入力と出力の間で生じていた深刻な非対称性を埋める重要な一手だと考えています。

近年のフロンティアモデルは入力コンテキストこそ10万トークン以上に広がっていたものの、出力側は4K程度に抑えられているケースがほとんどでした。そのため、完全なアプリケーションコードや一貫性のある長文資料を生成させるには、開発者側でタスクを細かく分割し、後からつなぎ合わせる複雑な仕組みを自作する必要がありました。

1回のリクエストで64Kトークンを一気に書き出せるようになれば、そうした中間処理の手間が大幅に省けます。

ただし、課題も明確です。出力100万トークンあたり18ドルという設定は決して安くはなく、上限近くまで生成させた場合は1回のリクエストで1ドル以上のコストが発生します。さらに、超長文の生成には数十秒から数分の待ち時間が発生するため、通信タイムアウト対策やプロンプトの失敗によるコスト浪費への配慮が不可欠になります。それでも、長尺の自動生成パイプラインを組みたい開発者にとっては、試す価値のある選択肢と言えます。