OpenAIの次世代モデル「Orion」の性能向上ペースが鈍化か、新戦略へ転換

次の超大型アップデートを心待ちにしているなら、少し期待値を調整したほうがいいかもしれません。

米 The Information の報道によると、OpenAI が開発を進めている次期フラッグシップモデル「Orion」は、現行モデルより性能が向上しているものの、かつて GPT-3 から GPT-4 へ移行した際に見られた劇的な進化には及ばないとされています。テストを実施した関係者の証言として、コーディングなどの特定分野では既存のモデルを明確に上回ることすら難しい状況が伝えられています。

伸び悩む進化と新たなアプローチ

性能向上のペースが鈍化しているのは、OpenAI 単独の課題というより、大規模言語モデル全体が直面している構造的な壁と言えます。

ウェブ上の高品質な学習データが枯渇しつつある中、OpenAI はモデルの改良方法を根本から再検討する専門チームを立ち上げました。報道によれば、Orion の開発では他の AI モデルが生成した合成データを学習に活用しているほか、従来のモデルでは手薄だったポストトレーニング工程に注力する戦略へシフトしている模様です。

この進捗の鈍化は、リリース計画の遅れにも直結しています。以前は年内 12 月の登場が噂されていましたが、OpenAI は TechCrunch に対し、Orion というコードネームのモデルを今年リリースする予定はないと回答しました。さらに、11 月 8 日に発生したシステム障害や、ChatGPT の利用者が緩やかに減少し始めている兆候も重なり、同社は戦略の練り直しを迫られています。

なぜ重要か

私たちは、Orion をめぐるこの状況が、計算資源とウェブデータを注ぎ込むだけで性能が跳ね上がった単純なスケーリング時代の終わりを示唆していると考えています。

一般ユーザーや開発者にとっては、既存の前提を一夜にして覆すような万能モデルがすぐには登場しないことを意味します。直近のアップデートに怯えることなく、いま手元にあるモデルを前提としたシステムや業務フローの構築に腰を据えて取り組めるタイミングと言えます。

業界全体で見れば、先行する OpenAI の減速は競合他社にとって最大の好機です。基礎モデルの性能差が縮まるにつれ、競争の主戦場はパラメータの大きさから、ポストトレーニングによる調整や実用領域での使い勝手へと移っていくはずです。

ただし、AI が作った合成データで次の AI を育てるというアプローチには、出力の質の低下や偏りの蓄積といったリスクも付きまといます。ポストトレーニングだけで根本的な能力の壁をどこまで突破できるのか、OpenAI の新たな試みは業界全体の試金石になりそうです。