OpenAI、o4-mini向け強化学習ファインチューニングとGPT-4.1 nano微調整を提供開始

推論モデルに特定の専門分野を学ばせるのはこれまで容易ではありませんでしたが、OpenAI がその扉を開きました。

OpenAI の開発者チームは、昨年 12 月からプレビュー版として検証を進めていた強化学習ファインチューニング（RFT）を、OpenAI o4-mini 向けに提供開始したと発表しました。同時に、同社で最も高速かつ安価な GPT-4.1 nano に対する教師ありファインチューニングの提供も始めています。

思考プロセスそのものを強化する仕組み

今回正式提供された RFT は、思考の連鎖（CoT）とタスクごとの採点システムを組み合わせ、複雑な専門業務での精度を高める手法です。

単に解答例を暗記させるのではなく、モデルがどう考え、正解にどう辿り着いたかを評価します。OpenAI によると、AccordanceAI がこの RFT を活用し、税務および会計分野で最高水準の性能を持つモデルを構築したとのことです。

一方で、重い推論を必要とせず速度やコストを最優先する用途に向けては、GPT-4.1 nano の教師ありファインチューニングが利用可能になりました。

なぜ重要か

今回のアップデートは、用途に応じたカスタマイズの住み分けを明確に提示したと私たちは考えています。

高度な業務向けには、o4-mini と RFT の組み合わせによって、金融や法務、科学研究などミスが許されない領域で本格的な専門家モデルを作れる道が開けました。

コスト重視の用途では、最安モデルである GPT-4.1 nano を自社業務専用に調整できるため、分類やデータ抽出といった日常的な定型タスクの運用費を大幅に削ることができます。

ただし、RFT を成功させるには、精度の高いタスク別評価基準を自前で用意しなければなりません。導入のハードルは通常のファインチューニングよりも格段に高く、ノウハウを持つ企業とそうでない企業の間で成果に差が出やすい点には注意が必要です。