NVIDIA 发布 Cosmos 3：让机器人「先想后动」，直接输出关节轨迹

Cosmos 3 是 NVIDIA 推出的开源物理 AI 世界基础模型，核心就是让机器人、自动驾驶和视觉 AI 具备「先想后动」的能力。

以往做机器人具身智能，生成视频、物理理解和动作控制往往分散在不同模型里，串接起来不仅延迟高，还容易脱节。Cosmos 3 把视觉推理、跨模态生成以及原生动作预测整合进了同一个开源模型，不仅能模拟环境演变，还能直接输出机械臂关节角度、夹爪位置和运动轨迹点等数值控制信号。

它是怎么做到「先想后动」的

Cosmos 3 在架构上采用了双塔混合 Transformer（MoT）设计。

第一个塔是推理器（Reasoner），本质上是一个自回归视觉语言模型。它负责扮演大脑，先观察输入的图像、视频或文本，解析场景里有什么物体在动、运动轨迹是否冲突，以及背后的物理因果关系。推理器可以单独跑，专门用来做场景理解。

第二个塔是生成器（Generator），基于扩散模型构建。当需要生成合成视频或具体的机器人动作时，生成器会以推理器的理解结果为前提，生成符合物理规律的连续帧或数值动作指令。

这种设计省去了开发者在多个模型管道之间来回调度的麻烦。无论是输入文字生成物理图像、输入视频预测未来画面，还是输入多视角视频直接生成机器人的操作动作，它都能直接支持。

两个规格、开源程度与硬件门槛

这次 NVIDIA 一共放出了两个不同尺寸的模型。

Cosmos 3 Nano 拥有 16B 参数，专为高效推理优化。如果你手里有一块工作站级别的 NVIDIA RTX PRO 6000 GPU，就可以把它部署在本地，跑实时的机器人推演和动作生成。

Cosmos 3 Super 则是 64B 参数的完整版本，主打极高画质和复杂物理推理。它针对数据中心的 NVIDIA Hopper 与 Blackwell 架构 GPU 优化，适合用来大规模生成高质量的合成训练数据。

测试表现上，Cosmos 3 在智能基础设施理解基准 VANTAGE-Bench、交通异常推理挑战赛 TAR，以及世界模型测试 Physics-IQ、R-Bench 和 PAI-Bench 上均位列前茅。在实机测试中，Cosmos 3 Nano 后训练策略在 DROID 机器人实机环境 RoboArena 与仿真环境 RoboLab 上同样拿下了领先成绩。

目前这套模型采用 Linux 基金会的 OpenMDW 1.1 协议开源。NVIDIA 不仅在 Hugging Face 放出了权重，还在 GitHub 上公开了代码和后训练脚本，同时开源了涵盖机器人、驾驶和物理仿真的合成数据集，开发者也可以直接通过 build.nvidia.com 在线体验或用 NVIDIA NIM 微服务进行部署。

落地方面，Agile Robots 已经将其用于 Thor 3、FR3 等人形及工业机器人的双臂操作策略训练；Linker Vision 则用它的视觉语言推理能力处理数千路智慧城市监控视频。

为什么重要

物理 AI 最头疼的问题就是真实数据太贵、危险边缘场景根本无法安全复现。Cosmos 3 把「物理规律理解」和「机器人具体控制信号」打包到同一个模型里，让开发者不需要在仿真器里反复手工搭场景，直接用生成模型就能批量产出带关节角度的训练数据。

对于正在做人形机器人、机械臂操作和自动驾驶落地的团队来说，Cosmos 3 值得立刻下载测试。Nano 版本的门槛控制在一块高端工作站显卡上，非常适合中小团队快速验证算法；不过要想充分利用它的世界生成能力，大规模基础设施成本依然不低。