OpenAIがファインチューニングAPIを強化、比較評価機能やカスタムモデル支援を追加

プロンプト調整だけでは限界があり、RAGを組んでも無関係なノイズを拾ってしまう。専門知識をモデルに叩き込もうとすると、今度はファインチューニングの敷居の高さに直面します。

OpenAIは4月4日、この課題に向けて2つの重要なアップデートを発表しました。一般開発者向けのファインチューニングAPIに運用改善機能を追加したほか、自社の専任研究チームが企業の専用モデル構築を支援する「カスタムモデルプログラム」の提供枠を拡大しました。

開発者向けAPIにチェックポイント保存や比較画面を追加

2023年8月にGPT-3.5向けのセルフサービス型ファインチューニングAPIを提供開始して以来、数千の組織が数十万に及ぶモデルを学習させてきました。しかし、過学習への対処やモデル間の精度比較には依然として手間がかかっていました。

今回のアップデートでは、エポックごとに自動でチェックポイントが生成されるようになりました。これにより、途中で過学習が起きた場合でも、最初から学習をやり直す必要がなくなります。

さらに、Webダッシュボード上から直接ハイパーパラメータを設定して再学習できるようになったほか、複数モデルの出力を同一プロンプトで横並び比較できるPlaygroundや、検証データセット全体を用いた損失・精度の算出機能が追加されました。外部ツールのWeights and Biasesとの連携も開始されています。

導入事例として紹介された求人サイトのIndeedは、GPT-3.5 Turboを微調して求職者向けの推薦文生成を最適化しました。その結果、プロンプトのトークン量を80パーセント削減し、月間の配信規模を100万件未満から約2000万件へと大幅に拡大させることに成功しています。

通信や法律の領域へ、専任チームによる本格カスタム

自前のAPI操作だけではカバーできない大規模な要件に向けて、OpenAIは「支援型ファインチューニング」と「完全カスタム学習」の2つの上位プランを用意しました。

支援型ファインチューニングでは、OpenAIの技術チームが参加し、大規模なパラメータ効率的ファインチューニング（PEFT）や固有の評価基盤を構築します。韓国の通信大手SKテレコムはGPT-4を韓国語の顧客対応向けにチューニングし、意図把握の精度を33パーセント向上させ、顧客満足度スコアを3.6から4.5へと引き上げました。

さらに踏み込んだ完全カスタム学習では、事前学習の途中段階であるミッドトレーニングや事後学習のプロセスそのものに手を加えます。

リーガルテック企業のHarveyは、約100億トークンに相当する判例や法律データを投入し、弁護士のフィードバックを取り入れながらモデルを再構築しました。その結果、事実に基づく回答精度が83パーセント向上し、弁護士による評価では97パーセントの確率でベースのGPT-4よりもカスタムモデルが選ばれる成果を上げています。

なぜ重要か

一般の開発者にとって、今回のAPI機能追加は非常に実用的です。特にエポックごとのチェックポイント保存とWeb上での並列比較は、無駄な計算コストの削減と検証サイクルの短縮に直結します。定型的なフォーマット出力やプロンプト短縮によるコスト削減を目指すなら、今すぐ試す価値があります。

今回の施策は、OpenAIのビジネス戦略としても極めて巧妙だと考えられます。一般層には自動化されたAPIを提供して利用料を回収し、独自データを大量に抱えるエンタープライズ顧客には研究者を直接派遣して高単価な受託開発を取り込みます。これにより、オープンソース陣営への企業顧客の流出を防ぐ狙いが見て取れます。

一方で、企業側にとってのロックインリスクは高まります。100億トークン規模の社内資産を預けてモデル深部まで作り込んだ場合、将来的に他社基盤へ乗り換えるコストは極めて重くなります。自社主導のオープンモデル構築を選ぶか、OpenAIの先端知見に頼るか、各社の判断が問われることになります。