マイクロソフト、2.8TパラメータのMoE基盤モデル「MAI-Base-2」を発表
Microsoftは大規模MoEモデル「MAI-Base-2」の事前学習完了を発表した。アクティブパラメータ80B、総パラメータ2.8Tを誇り、16k基のGB200で38日間学習された。DeepSeek-V4-Pro-Baseに対し最大12倍の計算効率を達成し、他モデルからの蒸留なしで構築されている。企業向けにFoundry経由で重みが提供される予定で、現在は事後学習を進めている。
Microsoftは大規模MoEモデル「MAI-Base-2」の事前学習完了を発表した。アクティブパラメータ80B、総パラメータ2.8Tを誇り、16k基のGB200で38日間学習された。DeepSeek-V4-Pro-Baseに対し最大12倍の計算効率を達成し、他モデルからの蒸留なしで構築されている。企業向けにFoundry経由で重みが提供される予定で、現在は事後学習を進めている。