OpenAI、「GPT-3.5 Turbo」のファインチューニングを提供開始

多くの開発者が直面していた悩みがありました。高精度な出力を得るために高価で応答が遅いGPT-4を使うか、安くて速いGPT-3.5 Turboを使ってフォーマット崩れと戦い続けるか、という二者択一です。

OpenAIはその問題に明確な回答を出しました。8月22日、GPT-3.5 Turboのファインチューニング機能の一般提供を開始しました。GPT-4向けのファインチューニングも今秋に提供される予定です。

初期テストの結果によれば、特定の限定的なタスクにおいては、ファインチューニングされたGPT-3.5 Turboが基本性能のGPT-4と同等、あるいはそれ以上の性能を発揮できるとされています。

プロンプトを最大90％削減

今回の機能拡張で重要なのは、知識の追加よりもモデルの挙動の制御です。

OpenAIが挙げている主な改善点は、指示追従性の向上、JSONなどの出力フォーマットの安定化、そしてブランド独自の口調の再現です。これまでシステムプロンプトに大量のルールや例文を詰め込んでいた処理を、モデル自体に学習させることができます。

初期テスターの中には、指示を直接モデルへ学習させることでプロンプトサイズを最大90％削減できたケースもあります。入力トークンが減れば、API呼び出しの速度が上がり、運用コストも大幅に削れます。

コンテキスト長は従来の微調整モデルの2倍となる4kトークンに対応しました。今秋には16kトークン対応やFunction callingのサポートも予定されています。

料金体系は、トレーニングが1000トークンあたり0.008ドル、利用時は入力が1000トークンあたり0.012ドル、出力が0.016ドルです。10万トークンのデータセットを3エポック学習させた場合、約2.40ドルという手頃な価格で実行できます。

微調整APIに送信されたデータは顧客が所有し、OpenAIが他モデルの学習に使用することはありません。安全性維持のため、データはGPT-4を活用したモデレーションシステムで事前検査されます。また、2024年1月4日に廃止される初期GPT-3モデルの後継として、babbage-002とdavinci-002も同時に提供開始されました。

なぜ重要か

このアップデートは、オープンソース陣営への強力な対抗策になると私たちは考えています。Llama 2などの登場以降、多くの企業が自前でモデルを微調整して特定用途に最適化する道を選び始めていました。OpenAIがわずか数ドルでそれを実現できる環境を提供したことで、インフラ構築の手間を嫌う開発者を一気に引き戻す力があります。

GPT-4のAPIコストやレイテンシに苦しんでいたサービス運営者にとって、今すぐ試す価値は十分にあります。特に定型JSONの出力や特定言語への固定出力であれば、安価なGPT-3.5で同等以上の精度を低コストで維持できる可能性が高いです。

ただし、微調整は万能の解決策ではありません。出力形式や振る舞いを整えるのには最適ですが、モデル自体の推論力そのものを引き上げるわけではありません。プロンプトエンジニアリングや外部検索との組み合わせを前提に、コスト対効果を見極めて導入する必要があります。