微軟公佈多模態模型 Magma：既能點手機介面，也能指揮機械臂

教一個 AI 點選手機螢幕發簡訊，和教一臺機械臂去廚房撿起掉落的熱狗腸，在過去幾乎是兩條完全平行的技術路線。做虛擬助手的盯著網頁程式碼和畫素，搞具身智慧的死磕電機控制和軌跡預測。

微軟團隊最近公佈的多模態 Agent 基礎模型 Magma，試圖把這兩套割裂的體系裝進同一個腦子裡。它不僅能看懂網頁和手機介面，還能直接輸出機械臂的物理動作軌跡，甚至在未經專門微調的零樣本狀態下，打通了跨越虛擬與現實的全任務圖譜。

螢幕座標與機械臂，全用記號來規劃

讓大模型理解動作，過去最大的痛點是太耗計算量。如果靠逐幀預測影片畫面來規劃下一步動作，算力消耗驚人，畫面裡稍微有點光影變化還會把模型帶偏。

Magma 拿出來的解法包含兩個核心機制：Set-of-Mark 和 Trace-of-Mark。前者用來做動作定位，說白了就是在影像上的可點選按鈕或機械臂操作點打上數字標記，讓模型直接挑選標記點；後者則用來做動作規劃，只預測關鍵標記點的未來軌跡路徑。

用軌跡標記代替逐幀畫面生成，換來的好處非常直接：模型可以用更少的 token 捕捉更長時間跨度的動作變化，同時徹底甩掉了周圍環境背景的視覺干擾。配合統一的視覺編碼器，Magma 既能吐出文本回答，也能輸出空間座標和具體操作指令。

既能打 2D 遊戲，也能指揮真實機械臂

在能力驗證上，Magma 展現出少見的通吃屬性。在數字介面的指令操作裡，它可以玩 2D 方向走位收集綠塊的遊戲，也能理解類似「查西雅圖天氣並開啟飛航模式」或「把這段內容發給聯絡人並點擊發送」的複雜手機操作。

但在真實物理世界裡，它的表現更抓人眼球。在真實 WidowX 機械臂的少樣本微調實驗中，無論是把蘑菇放進鍋裡、抓取熱狗腸，還是面對軟質布料這種非剛性物體的推移，Magma 的成功率都壓過了開源具身模型 OpenVLA。即便遇到訓練集裡沒見過的分佈外場景，它也沒有抓瞎。

根據研究團隊公佈的基準測試，在沒有經過任何特定領域微調時，對比 LLaVA-OneVision、Qwen2-VL 和 GPT-4o mini 等多模態模型，Magma 是目前唯一能夠獨立覆蓋從影片理解、空間推理到 UI 導航和機器人操作全譜系任務的模型。

為什麼重要

我們認為，Magma 最聰明的做法在於把 UI 介面上的點選和現實裡的機械臂抓取，抽象成了同一種空間軌跡問題。以往各家做 AI Agent 往往壁壘分明，做螢幕自動化的走一套純視覺點選方案，做機器人的走動作策略模型。微軟證明了兩者在底層多模態表徵上完全可以複用。

對開發者和研究人員來說，這意味著未來不需要為了不同的執行載體從頭訓練專用模型，一個基礎模型加上少量演示，就能快速適配手機端指令碼或工廠流水線機械臂。但這也帶來了一定的技術代價：用離散標記和軌跡預測規避掉物理動態模擬後，面對極高精度或高頻力反饋的精密操作，這套機制很可能會遭遇瓶頸。

從行業競爭來看，這給做通用多模態模型的廠商劃出了一條新起跑線。單純在文本問答和通用圖片描述上刷分已經不夠看了，能否把空間感知真正落地成現實或虛擬世界裡的連續物理動作，正在成為衡量下一代基礎模型成色更硬的試金石。