Ai2 开源 MolmoMotion：听语言指令预测 3D 物体轨迹

MolmoMotion 是 Ai2 刚开源的一套 3D 运动预测工具。你只要给它一张视频首帧、在物体上标出几个 3D 查询点，再加上一句自然语言指令，它就能算出这几个点接下来几秒在真实 3D 空间里的运动轨迹。

目前的机器视觉大多擅长看已经发生的事，比如追踪视频里物体的运动。但不管是机械臂抓取还是物理视频生成，系统真正需要的是预测未来。MolmoMotion 解决的就是让多模态大模型在动手前先看清物体该怎么动。

它是怎么做到的

MolmoMotion 选择用世界坐标系下的稀疏 3D 表面点来表达运动，而不是去硬啃昂贵的全帧视频渲染。这种做法不依赖人体或特定物体的骨架模板，换了视角轨迹依然稳定，输出的连续轨迹还能直接喂给下游规划器。

模型底模基于 Molmo 2。它先定位指令里的目标物体和查询点，再结合简短的历史帧预测未来的 3D 坐标。Ai2 这次一共放出了两个架构版本。

一个是自回归版本 MolmoMotion-AR。它把 3D 坐标量化成结构化文本一步步往后写，依靠前面的轨迹连贯生成下一步，在目标明确的确定性动作里精度最高。

另一个是流匹配版本 MolmoMotion-FM。它直接在连续 3D 空间里把噪声变成运动轨迹，面对一句指令可能对应多种合理动作的情况时，能更好地表达不确定性。

为了训出这个模型，Ai2 还开发了一套自动化标注管线，把无标注的网络视频清洗、升维并剔除抖动点，做成了包含 116 万条视频轨迹的 MolmoMotion-1M 数据集，覆盖 736 种动作类型和 5600 种物体。

效果与下游应用

在 Ai2 同步推出的 2700 个视频片段基准 PointMotionBench 上，MolmoMotion 的 3D 预测精度超过了基于像素的视频生成模型和传统运动学基线。

在机器人操作上，模型在开源真实数据集 DROID 上微调后表现突出。在模拟机械臂抓取任务中，基于 MolmoMotion 的策略成功率达到了 76.3%，而单纯用 Molmo 2 底模的成功率只有 56.0%。在真机训练中，它只用约 2000 步就达到了基线 12000 步的测试误差水平。

在可控视频生成上，它预测出的 3D 轨迹可以当作显式控制信号输入给扩散模型。在结合 DaS 等视频模型时，生成的动作比单纯靠文本提示更贴合物理规律，在多项运动指标上甚至优于参数量更大的基准模型。

目前它的主要限制在于训练时每个物体只采了 8 个点，能应付刚体和大尺度位移，但还无法细致刻画复杂软体表面的形变。

代码、模型权重、116 万条轨迹数据集以及评测基准现在都已经开放，可以直接在 GitHub 和 Hugging Face 上下载。

为什么重要

做具身智能和物理世界生成模型的团队，现在很值得去测一下这套工具。

它最聪明的地方在于绕开了端到端生成像素的死胡同。很多团队试图让视频大模型直接学会物理，算力消耗极大却总是产生漂移。MolmoMotion 把动作拆解成多模态理解加稀疏 3D 轨迹预测，既借用了 VLM 的常识，又给下游留出了轻量、可解释的控制接口。

不过，8 个点的稀疏表达在面对布料、流体这类形变物体时依然吃力。我们认为它更适合作为机械臂抓放、搬运轨迹的前置路径规划模块，或者作为轻量级物理先验嵌进现有的视频生成管线中。