NVIDIA 推出 Cosmos Policy：把世界模型当机器人大脑，控制和规划全包了

Cosmos Policy 是 NVIDIA 开源的机器人控制与规划模型。它直接拿自家的 Cosmos Predict-2 视频生成世界模型来做后训练，不用在外面套单独的动作控制网络，就能直接指挥机械臂抓取、移动和操作物体。

普通视觉语言模型（VLM）通常只会看图说话，能指出「拿起紫色杯子」，但不知道手臂到底该怎么在重力下平滑发力。Cosmos Policy 的解法很聪明：它不把机器人的动作、物理状态和任务评分当成特殊数据，而是直接把它们编码成压缩的隐空间帧，塞进视频扩散模型里一起去噪学习。在模型眼里，机械臂接下来要做的动作，和接下来几秒视频里物体的运动规律是一回事，顺手就继承了世界模型里预学到的物理、重力与时空动态常识。

这样一来，单个模型就能同时预测动作、推演未来画面，并给动作结果打分。实际部署时，它既能当直觉控制器用，只输出动作指令；也能开启规划模式，生成几套候选动作并在脑海里模拟后续画面，挑得分最高的路线走。

表现怎么样

从基准测试数据来看，这套思路的效果非常凶猛。

在多任务测试集 LIBERO 上，Cosmos Policy 的平均任务成功率冲到了 98.5%，在细分的空间、物体、目标和长序列任务中都位居前列，压过了 π0.5、OpenVLA-OFT 和 CogVLA 等主流 VLA 模型。

在更贴近家庭日常场景的 RoboCasa 测试中，以往模型通常每个任务需要 300 次演示数据才能达到 60% 左右的成功率，而 Cosmos Policy 仅凭每个任务 50 次演示，就拿下了 67.1% 的平均成功率，数据效率明显更高。

而在实机测试里，研究团队把模型放到了 ALOHA 双臂机器人平台上。在两项高难度的双手操作任务中，只要开启基于模型的推演规划，任务完成率平均还能再往上拔高 12.5%。

怎么上手

Cosmos Policy 相关的模型权重已经在 Hugging Face 上线，训练与推理代码同步开源在 GitHub 上，开发者可以直接通过 Cosmos Cookbook 里的配方上手运行。此外，NVIDIA 还同步推出了 Cosmos Predict 2.5 更新。

为了吸引更多开发者实操，NVIDIA 还在 1 月 29 日至 2 月 26 日期间举办 Cosmos Cookoff 线上黑客松，组队上限 4 人，奖品包含 5000 美元现金、RTX 5090 显卡以及 DGX Spark 计算设备。

为什么重要

如果你是具身智能或机器人领域的开发者，Cosmos Policy 非常值得你立刻下载跑跑看。它证明了一条新路子：与其在传统 VLM 上死磕动作微调，不如直接用学过真实物理规律的视频生成模型来掌控肢体。

不过，它的门槛依然摆在那里。扩散生成式的架构需要足够的算力支撑，在实时闭环控制中的延迟表现如何，还需要社区在不同机械臂硬件上进一步验证。