マイクロソフト、2.8TパラメータのMoE基盤モデル「MAI-Base-2」を発表

マイクロソフトが、自社開発のフロンティアモデルで大きな一歩を踏み出しました。

同社は新しい基底モデル「MAI-Base-2」の事前学習を完了したと発表しました。総パラメータ数2.8兆、推論時に稼働するアクティブパラメータ数800億という超巨大なMoE（Mixture-of-Experts）モデルです。16,000基のNVIDIA GB200 GPUクラスタを使い、わずか38日間で学習を終えたといいます。

驚異的な計算効率とクリーンデータ

巨大モデルの学習で鍵を握るのは、どれだけ無駄な計算リソースを削ぎ落とせるかです。

今回の学習では、モデルFLOPs利用率（MFU）が21パーセント、有効稼働率（goodput）が89パーセントを記録しました。ベンチマークの汚染を防ぐため、評価用データセットはベンダーに特注し、自社のトレーニングデータと徹底的に照合して重複を排除しています。

その結果、事前学習段階のホールドアウト評価において、MAI-Base-2は比較対象となったすべてのオープンウェイトモデルを上回りました。特に現在最高峰とされるDeepSeek-V4-Pro-Baseと比較して、4.2倍から12.3倍ものFLOPs効率（計算効率）を叩き出しています。

この高効率を実現した要因として、小規模実験から超パラメータの振る舞いを正確に予測する「ソーススケーリング」手法や、インフラとMoEアーキテクチャの共同最適化が挙げられています。また、他社モデルからの蒸留を一切行わず、出所が明確なオーガニックデータのみで学習されている点も特徴です。

マイクロソフトは、このMAI-Base-2の重みを「Foundry」を通じて信頼できるエンタープライズ顧客にライセンス提供する方針を示しています。

なぜ重要か

マイクロソフトがパートナー企業への依存から脱却し、自前で最高峰の事前学習インフラとモデルを回せることを実証した点に大きな意味があります。

企業顧客にとって、他モデルからの蒸留を行わず出所が保証された「オーガニックデータ」で学習されたモデルを自前環境向けにライセンス導入できるメリットは絶大です。著作権侵害やデータ汚染のリスクを極端に嫌う金融や公共分野にとって、最有力な選択肢になり得ます。

業界全体から見れば、16,000基のGB200をフル稼働させて1か月強で2.8兆パラメータを完成させた運用力は、他社の開発ペースに強い圧力をかけるはずです。

賢いのは、単に力任せに計算資源を投入するのではなく、超パラメータのスケーリング法則を緻密に解き明かして無駄な試行錯誤を削った点です。ただし、MAI-Base-2は現在事後学習（ポストトレーニング）を進めている段階です。事前学習の損失効率がどれほど優秀でも、最終的な対話性能や推論能力、ツール利用の安定性は事後学習の出来に左右されるため、実際の使い勝手を見極めるのはこれからと言えます。