Ai2 開源 MolmoMotion：聽語言指令預測 3D 物體軌跡

MolmoMotion 是 Ai2 剛開源的一套 3D 運動預測工具。你只要給它一張影片首幀、在物體上標出幾個 3D 查詢點，再加上一句自然語言指令，它就能算出這幾個點接下來幾秒在真實 3D 空間裡的運動軌跡。

目前的機器視覺大多擅長看已經發生的事，比如追蹤影片裡物體的運動。但不管是機械臂抓取還是物理影片生成，系統真正需要的是預測未來。MolmoMotion 解決的就是讓多模態大模型在動手前先看清物體該怎麼動。

它是怎麼做到的

MolmoMotion 選擇用世界座標系下的稀疏 3D 表面點來表達運動，而不是去硬啃昂貴的全幀影片渲染。這種做法不依賴人體或特定物體的骨架模板，換了視角軌跡依然穩定，輸出的連續軌跡還能直接餵給下游規劃器。

模型底模基於 Molmo 2。它先定位指令裡的目標物體和查詢點，再結合簡短的歷史幀預測未來的 3D 座標。Ai2 這次一共放出了兩個架構版本。

一個是自迴歸版本 MolmoMotion-AR。它把 3D 座標量化成結構化文本一步步往後寫，依靠前面的軌跡連貫生成下一步，在目標明確的確定性動作裡精度最高。

另一個是流匹配版本 MolmoMotion-FM。它直接在連續 3D 空間裡把噪聲變成運動軌跡，面對一句指令可能對應多種合理動作的情況時，能更好地表達不確定性。

為了訓出這個模型，Ai2 還開發了一套自動化標註管線，把無標註的網路影片清洗、升維並剔除抖動點，做成了包含 116 萬條影片軌跡的 MolmoMotion-1M 資料集，覆蓋 736 種動作型別和 5600 種物體。

效果與下游應用

在 Ai2 同步推出的 2700 個影片片段基準 PointMotionBench 上，MolmoMotion 的 3D 預測精度超過了基於畫素的影片生成模型和傳統運動學基線。

在機器人操作上，模型在開源真實資料集 DROID 上微調後表現突出。在模擬機械臂抓取任務中，基於 MolmoMotion 的策略成功率達到了 76.3%，而單純用 Molmo 2 底模的成功率只有 56.0%。在真機訓練中，它只用約 2000 步就達到了基線 12000 步的測試誤差水平。

在可控影片生成上，它預測出的 3D 軌跡可以當作顯式控制訊號輸入給擴散模型。在結合 DaS 等影片模型時，生成的動作比單純靠文本提示更貼合物理規律，在多項運動指標上甚至優於引數量更大的基準模型。

目前它的主要限制在於訓練時每個物體只採了 8 個點，能應付剛體和大尺度位移，但還無法細緻刻畫複雜軟體表面的形變。

程式碼、模型權重、116 萬條軌跡資料集以及評測基準現在都已經開放，可以直接在 GitHub 和 Hugging Face 上下載。

為什麼重要

做具身智慧和物理世界生成模型的團隊，現在很值得去測一下這套工具。

它最聰明的地方在於繞開了端到端生成畫素的死衚衕。很多團隊試圖讓影片大模型直接學會物理，算力消耗極大卻總是產生漂移。MolmoMotion 把動作拆解成多模態理解加稀疏 3D 軌跡預測，既借用了 VLM 的常識，又給下游留出了輕量、可解釋的控制介面。

不過，8 個點的稀疏表達在面對布料、流體這類形變物體時依然吃力。我們認為它更適合作為機械臂抓放、搬運軌跡的前置路徑規劃模組，或者作為輕量級物理先驗嵌進現有的影片生成管線中。