OpenAIがGPT-4 Turbo発表：128K文脈対応、価格は最大3分の1に大幅値下げ

これまで生成AIでアプリを作ろうとした開発者は、プロンプトの工夫以前にインフラの雑務に追われていました。すぐ溢れるコンテキスト長、安定しないJSON出力、ドキュメント検索のために手作業で組むベクトルDBやテキスト分割など、下準備の負担は膨大でした。

初の開発者会議「DevDay」で、OpenAIはGPT-4 Turboと一連の開発者向けツールを発表し、そうした泥臭い開発環境を一新しにかかりました。

128Kへの拡張と大幅な値下げ

主役となるGPT-4 Turboは、知識データが2023年4月まで更新されたほか、コンテキストウィンドウが128Kに拡大しました。1回のプロンプトに300ページ以上の書籍に匹敵する文書を収めることが可能です。

加えて価格設定も大きく見直されました。従来のGPT-4と比較して、入力トークンは3分の1、出力トークンは2分の1に値下げされています。

現場の細かなペインにも手が入れられました。一度のリクエストで複数の関数を同時に呼び出せる並列ファンクションコーリングに対応したほか、構文エラーのないJSON出力を保証するJSONモード、デバッグや単体テストで出力を再現しやすくするシードパラメータも追加されました。

また、GPT-3.5 Turboも標準で16Kコンテキストに対応し、JSONやXMLなどのフォーマット追従精度が社内評価で38パーセント向上しています。

エージェント開発を担うAssistants API

モデル自体の進化以上に開発者の注目を集めたのが、Assistants APIの登場です。

これまで対話アプリを作るには、開発側が会話履歴を記録し、ウィンドウ長に合わせて切り詰めるセッション管理が不可欠でした。新APIでは永続的なスレッド機能が導入され、状態管理を丸ごとOpenAI側に委ねられるようになります。

さらに、サンドボックス環境でPythonを実行できるCode Interpreterや、自前でベクトル計算や検索ロジックを組む必要がないRetrieval機能、ファンクションコーリングが最初から組み込まれています。

マルチモーダル機能も拡充され、GPT-4の画像認識APIやDALL・E 3、6種類の音声を揃えたテキスト読み上げAPIも開発者向けに開放されました。

なぜ重要か

このアップデートは、これまで中間レイヤーとして機能してきた数多くのスタートアップにとって大きな脅威になると私たちは考えます。

PDFを分割してベクトル検索に繋ぎ込むだけのラッパーサービスや、セッション管理ツールを提供していた企業は、OpenAIの純正APIによって一瞬で存在意義を問われることになりました。

アプリ開発者にとっては、今すぐ試す価値が十分にあります。トークン費用の大幅な低減と128Kの長文対応、JSONモードの導入により、これまで動作が不安定だったプロトタイプを一気に実用に引き上げることが可能です。

ただし、注意すべきはベンダーロックインのリスクです。スレッドの状態保持やドキュメント検索をOpenAIのブラックボックスに預けてしまうと、開発速度は跳ね上がる一方で、将来オープンソースのモデルや他社基盤へ移行するハードルは極めて高くなります。