跳到正文
IFAI

大模型

微軟完成 MAI-Base-2 預訓練:2.8T 引數,效率最高達 DeepSeek 的 12 倍

首次發布 傳播指數 50

Microsoft 宣佈完成基礎模型 MAI-Base-2 的預訓練。該模型採用 MoE 架構,包含 80B 活躍引數和 2.8T 總引數,由 16k 張 GB200 GPU 訓練 38 天完成。其算力效率最高達 DeepSeek-V4-Pro-Base 的 12 倍,且全程無蒸餾。微軟計劃通過 Foundry 授權權重,目前正進行後訓練。

微軟完成 MAI-Base-2 預訓練:2.8T 引數,效率最高達 DeepSeek 的 12 倍
圖:microsoft.ai

過去這幾年,大家總覺得微軟在最核心的大模型底座上,是把命脈交給了外部盟友。但就在最近,微軟 AI 團隊拿出了自己的底牌。

微軟正式公佈了最新的預訓練基座模型 MAI-Base-2。這是一個混合專家架構(MoE)的大模型,總引數量達到了誇張的 2.8 萬億,每次推理啟用 800 億引數。更耐人尋味的是它的訓練代價:微軟調集了 16000 張輝達 GB200 GPU,只花了 38 天就完成了預訓練。

38 天燒出來的效率怪獸

在大模型堆到萬億引數這個量級後,大家拼的早就不只是顯示卡數量,而是誰浪費的算力更少。

按照微軟公佈的資料,這次訓練的平均模型算力利用率(MFU)達到了 21%,有效訓練時間佔比(goodput)高達 89%。為了隔絕資料汙染,測試集全部找外部供應商重新制作,或者採用自己的內部程式碼庫。

在同樣的評測標準下,MAI-Base-2 擊敗了測試中的所有開源權重底座。微軟做了一套嚴格的換算:要達到同樣的文本壓縮水平,這個新方案的算力利用效率,比目前頂尖的開源底座 DeepSeek-V4-Pro-Base 高出 4.2 到 12.3 倍,比起自家的上一代 MAI-Base-1 也有 6 到 12 倍的效率躍升。

能省下這麼多算力,微軟靠的是一套被稱為「源擴充套件」(source scaling)的測試階梯,在小模型上提前摸透超引數的規律,讓小規模實驗的經驗可以直接放大到 2.8 萬億引數上而不翻車。另外,他們還針對 MoE 架構和 Muon 最佳化器做了深度改造,並把視覺資料也直接融進了預訓練流水線。

還有一個極具針對性的細節:微軟明確強調,MAI-Base-2 完全基於原創的「有機資料」訓練,沒有從任何其他大模型那裡進行蒸餾。他們手握訓練資料的完整來源證明,接下來打算通過 Foundry 平臺,把這個模型的權重直接授權給企業客戶。

為什麼重要

這篇技術報告最值得看的,不是 2.8 萬億這個嚇人的數字,而是微軟對待基礎模型研發的姿態變了。

對企業客戶來說,這解決了一個長久以來的心病。很多大公司想用最頂級的模型,但法務部門天天擔心版權訴訟,或者擔心模型是通過蒸餾偷來的技術。微軟現在端出一套完全自研、資料溯源清白、不搞蒸餾的頂級底座,還願意在 Foundry 裡直接授權權重,這給金融、醫療等強監管行業提供了一個極具吸引力的選項。

對行業來說,這也是一次微妙的洗牌。微軟用 1.6 萬張 GB200 在 38 天內跑出這個結果,向整個矽谷證明了他們自己也有頂級的基礎預訓練能力,不再只是一家靠投資和採購算力過日子的應用整合商。這必然會給包括 OpenAI 在內的合作伙伴帶來競爭張力,同時也直接向開源陣營發起了挑戰。

我們認為,微軟這一步走得相當清醒。他們沒有一上來就盲目去拼幾十萬張卡的超大叢集,而是先把模型和底層硬體協同最佳化的效率榨到了極致。不過隱患也顯而易見:MAI-Base-2 目前還只是完成了預訓練階段,正在做後訓練。一個底座模型不管在理論壓縮率和算力效率上有多強,最後能不能打,還得看它在複雜對齊、工具呼叫和多輪推理上的真實表現,現在下結論還為時過早。

來源 (1)

  1. [1]
    microsoft.ai(在新分頁開啟)原文microsoft.ai

每日 AI 內容精選