OpenAI、10兆超パラメータの新基底「Bel」の事前学習を完了か

X上のリーク情報によると、OpenAIが次世代の大規模事前学習モデル「Bel」の学習を完了した模様です。社内コードネーム「Doug」の後継にあたるモデルとされています。

パラメータ数は10兆超、AstraとGPT-6の土台に

リーク主の@synthwavedd氏によると、Belの総パラメータ数は10兆を超えており、規模としてはGPT-4.5と同等とみられます。

今後は強化学習を経て、開発中の「Astra」や「GPT-6」のベースモデルとして活用される予定で、AGIの基準に達するモデルの基盤になる可能性もあるといいます。

この動きにライバルのAnthropicは危機感を強めていると報じられています。同社は計算資源の制約からAstraに対抗できる公開モデルを準備できておらず、年内はOpenAIが優位に立つ状況を受け入れつつ、来年初頭の巻き返しを狙っているとされます。

なぜ重要か

フロンティアモデルにおけるパラメータ規模の拡大競争が、まだ限界に達していないことを示しています。GPT-6やAstraが登場すれば、開発者や企業は一段と高度な推論能力を活用できるようになるはずです。

同時に、業界トップ層の間でもコンピュート資源の格差が勝敗を左右し始めていることが浮き彫りになりました。Anthropicほどの技術力があっても、計算資源が不足すれば正面衝突を避けざるを得ません。

OpenAIの規模で押し切る戦略は短期的には極めて効果的ですが、10兆パラメータ規模のモデルを運用する推論コストをどう回収するのかは、今後も大きな課題として残りそうです。