NVIDIA 推出 Cosmos Policy：把世界模型當機器人大腦，控制和規劃全包了

Cosmos Policy 是 NVIDIA 開源的機器人控制與規劃模型。它直接拿自家的 Cosmos Predict-2 影片生成世界模型來做後訓練，不用在外面套單獨的動作控制網路，就能直接指揮機械臂抓取、移動和操作物體。

普通視覺語言模型（VLM）通常只會看圖說話，能指出「拿起紫色杯子」，但不知道手臂到底該怎麼在重力下平滑發力。Cosmos Policy 的解法很聰明：它不把機器人的動作、物理狀態和任務評分當成特殊資料，而是直接把它們編碼成壓縮的隱空間幀，塞進影片擴散模型裡一起去噪學習。在模型眼裡，機械臂接下來要做的動作，和接下來幾秒影片裡物體的運動規律是一回事，順手就繼承了世界模型裡預學到的物理、重力與時空動態常識。

這樣一來，單個模型就能同時預測動作、推演未來畫面，並給動作結果打分。實際部署時，它既能當直覺控制器用，只輸出動作指令；也能開啟規劃模式，生成幾套候選動作並在腦海裡模擬後續畫面，挑得分最高的路線走。

表現怎麼樣

從基準測試資料來看，這套思路的效果非常兇猛。

在多工測試集 LIBERO 上，Cosmos Policy 的平均任務成功率衝到了 98.5%，在細分的空間、物體、目標和長序列任務中都位居前列，壓過了 π0.5、OpenVLA-OFT 和 CogVLA 等主流 VLA 模型。

在更貼近家庭日常場景的 RoboCasa 測試中，以往模型通常每個任務需要 300 次演示資料才能達到 60% 左右的成功率，而 Cosmos Policy 僅憑每個任務 50 次演示，就拿下了 67.1% 的平均成功率，資料效率明顯更高。

而在實機測試裡，研究團隊把模型放到了 ALOHA 雙臂機器人平臺上。在兩項高難度的雙手操作任務中，只要開啟基於模型的推演規劃，任務完成率平均還能再往上拔高 12.5%。

怎麼上手

Cosmos Policy 相關的模型權重已經在 Hugging Face 上線，訓練與推理程式碼同步開源在 GitHub 上，開發者可以直接通過 Cosmos Cookbook 裡的配方上手執行。此外，NVIDIA 還同步推出了 Cosmos Predict 2.5 更新。

為了吸引更多開發者實操，NVIDIA 還在 1 月 29 日至 2 月 26 日期間舉辦 Cosmos Cookoff 線上駭客松，組隊上限 4 人，獎品包含 5000 美元現金、RTX 5090 顯示卡以及 DGX Spark 計算裝置。

為什麼重要

如果你是具身智慧或機器人領域的開發者，Cosmos Policy 非常值得你立刻下載跑跑看。它證明了一條新路子：與其在傳統 VLM 上死磕動作微調，不如直接用學過真實物理規律的影片生成模型來掌控肢體。

不過，它的門檻依然擺在那裡。擴散生成式的架構需要足夠的算力支撐，在即時閉環控制中的延遲表現如何，還需要社群在不同機械臂硬體上進一步驗證。