微软完成 MAI-Base-2 预训练:2.8T 参数,效率最高达 DeepSeek 的 12 倍
Microsoft 宣布完成基础模型 MAI-Base-2 的预训练。该模型采用 MoE 架构,包含 80B 活跃参数和 2.8T 总参数,由 16k 张 GB200 GPU 训练 38 天完成。其算力效率最高达 DeepSeek-V4-Pro-Base 的 12 倍,且全程无蒸馏。微软计划通过 Foundry 授权权重,目前正进行后训练。

过去这几年,大家总觉得微软在最核心的大模型底座上,是把命脉交给了外部盟友。但就在最近,微软 AI 团队拿出了自己的底牌。
微软正式公布了最新的预训练基座模型 MAI-Base-2。这是一个混合专家架构(MoE)的大模型,总参数量达到了夸张的 2.8 万亿,每次推理激活 800 亿参数。更耐人寻味的是它的训练代价:微软调集了 16000 张英伟达 GB200 GPU,只花了 38 天就完成了预训练。
38 天烧出来的效率怪兽
在大模型堆到万亿参数这个量级后,大家拼的早就不只是显卡数量,而是谁浪费的算力更少。
按照微软公布的数据,这次训练的平均模型算力利用率(MFU)达到了 21%,有效训练时间占比(goodput)高达 89%。为了隔绝数据污染,测试集全部找外部供应商重新制作,或者采用自己的内部代码库。
在同样的评测标准下,MAI-Base-2 击败了测试中的所有开源权重底座。微软做了一套严格的换算:要达到同样的文本压缩水平,这个新方案的算力利用效率,比目前顶尖的开源底座 DeepSeek-V4-Pro-Base 高出 4.2 到 12.3 倍,比起自家的上一代 MAI-Base-1 也有 6 到 12 倍的效率跃升。
能省下这么多算力,微软靠的是一套被称为「源扩展」(source scaling)的测试阶梯,在小模型上提前摸透超参数的规律,让小规模实验的经验可以直接放大到 2.8 万亿参数上而不翻车。另外,他们还针对 MoE 架构和 Muon 优化器做了深度改造,并把视觉数据也直接融进了预训练流水线。
还有一个极具针对性的细节:微软明确强调,MAI-Base-2 完全基于原创的「有机数据」训练,没有从任何其他大模型那里进行蒸馏。他们手握训练数据的完整来源证明,接下来打算通过 Foundry 平台,把这个模型的权重直接授权给企业客户。
为什么重要
这篇技术报告最值得看的,不是 2.8 万亿这个吓人的数字,而是微软对待基础模型研发的姿态变了。
对企业客户来说,这解决了一个长久以来的心病。很多大公司想用最顶级的模型,但法务部门天天担心版权诉讼,或者担心模型是通过蒸馏偷来的技术。微软现在端出一套完全自研、数据溯源清白、不搞蒸馏的顶级底座,还愿意在 Foundry 里直接授权权重,这给金融、医疗等强监管行业提供了一个极具吸引力的选项。
对行业来说,这也是一次微妙的洗牌。微软用 1.6 万张 GB200 在 38 天内跑出这个结果,向整个硅谷证明了他们自己也有顶级的基础预训练能力,不再只是一家靠投资和采购算力过日子的应用集成商。这必然会给包括 OpenAI 在内的合作伙伴带来竞争张力,同时也直接向开源阵营发起了挑战。
我们认为,微软这一步走得相当清醒。他们没有一上来就盲目去拼几十万张卡的超大集群,而是先把模型和底层硬件协同优化的效率榨到了极致。不过隐患也显而易见:MAI-Base-2 目前还只是完成了预训练阶段,正在做后训练。一个底座模型不管在理论压缩率和算力效率上有多强,最后能不能打,还得看它在复杂对齐、工具调用和多轮推理上的真实表现,现在下结论还为时过早。
来源 (1)
- microsoft.ai(在新标签页打开)原文microsoft.ai