微软公布多模态模型 Magma：既能点手机界面，也能指挥机械臂

教一个 AI 点击手机屏幕发短信，和教一台机械臂去厨房捡起掉落的热狗肠，在过去几乎是两条完全平行的技术路线。做虚拟助手的盯着网页代码和像素，搞具身智能的死磕电机控制和轨迹预测。

微软团队最近公布的多模态 Agent 基础模型 Magma，试图把这两套割裂的体系装进同一个脑子里。它不仅能看懂网页和手机界面，还能直接输出机械臂的物理动作轨迹，甚至在未经专门微调的零样本状态下，打通了跨越虚拟与现实的全任务图谱。

屏幕坐标与机械臂，全用记号来规划

让大模型理解动作，过去最大的痛点是太耗计算量。如果靠逐帧预测视频画面来规划下一步动作，算力消耗惊人，画面里稍微有点光影变化还会把模型带偏。

Magma 拿出来的解法包含两个核心机制：Set-of-Mark 和 Trace-of-Mark。前者用来做动作定位，说白了就是在图像上的可点击按钮或机械臂操作点打上数字标记，让模型直接挑选标记点；后者则用来做动作规划，只预测关键标记点的未来轨迹路径。

用轨迹标记代替逐帧画面生成，换来的好处非常直接：模型可以用更少的 token 捕捉更长时间跨度的动作变化，同时彻底甩掉了周围环境背景的视觉干扰。配合统一的视觉编码器，Magma 既能吐出文本回答，也能输出空间坐标和具体操作指令。

既能打 2D 游戏，也能指挥真实机械臂

在能力验证上，Magma 展现出少见的通吃属性。在数字界面的指令操作里，它可以玩 2D 方向走位收集绿块的游戏，也能理解类似「查西雅图天气并开启飞行模式」或「把这段内容发给联系人并点击发送」的复杂手机操作。

但在真实物理世界里，它的表现更抓人眼球。在真实 WidowX 机械臂的少样本微调实验中，无论是把蘑菇放进锅里、抓取热狗肠，还是面对软质布料这种非刚性物体的推移，Magma 的成功率都压过了开源具身模型 OpenVLA。即便遇到训练集里没见过的分布外场景，它也没有抓瞎。

根据研究团队公布的基准测试，在没有经过任何特定领域微调时，对比 LLaVA-OneVision、Qwen2-VL 和 GPT-4o mini 等多模态模型，Magma 是目前唯一能够独立覆盖从视频理解、空间推理到 UI 导航和机器人操作全谱系任务的模型。

为什么重要

我们认为，Magma 最聪明的做法在于把 UI 界面上的点击和现实里的机械臂抓取，抽象成了同一种空间轨迹问题。以往各家做 AI Agent 往往壁垒分明，做屏幕自动化的走一套纯视觉点击方案，做机器人的走动作策略模型。微软证明了两者在底层多模态表征上完全可以复用。

对开发者和研究人员来说，这意味着未来不需要为了不同的执行载体从头训练专用模型，一个基础模型加上少量演示，就能快速适配手机端脚本或工厂流水线机械臂。但这也带来了一定的技术代价：用离散标记和轨迹预测规避掉物理动态模拟后，面对极高精度或高频力反馈的精密操作，这套机制很可能会遭遇瓶颈。

从行业竞争来看，这给做通用多模态模型的厂商划出了一条新起跑线。单纯在文本问答和通用图片描述上刷分已经不够看了，能否把空间感知真正落地成现实或虚拟世界里的连续物理动作，正在成为衡量下一代基础模型成色更硬的试金石。