跳到正文
IFAI

机器人

NVIDIA 发布物理 AI 模型 Cosmos Reason:懂常识,给机器人当大脑

首次发布 传播指数 59

NVIDIA 在 SIGGRAPH 发布面向机器人开发的 Omniverse 新库与 Cosmos 系列世界模型。其中 7B 参数的 Cosmos Reason 具备物理常识与空间推理能力,能直接充当机器人的决策大脑。这意味着开发者能靠高拟真仿真与合成数据,大幅缩短实体机器人的训机周期。

NVIDIA 发布物理 AI 模型 Cosmos Reason:懂常识,给机器人当大脑
图:nvidianews.nvidia.com

造机器人最让人头疼的,从来不是机械臂拧螺丝的力道,而是怎么让它明白「杯子倒了水会洒」这种常识。

过去几年,视觉语言模型让机器人看清了周围的物体,但只要遇到没见过的障碍或多步骤任务,它们立马抓瞎。实体机器人跑真实测试成本太高,稍微摔一下就是几万美元的维修账单。

NVIDIA 在 SIGGRAPH 大会上拿出了一整套新工具,试图彻底打破这个僵局:包括新的 Omniverse 库、Cosmos 物理世界模型,以及支撑这些计算的 RTX PRO Blackwell 服务器。

机器人的「脑子」,终于跟上眼睛了

这次最惹眼的,是一个叫 Cosmos Reason 的开源推理模型。

它只有 70 亿(7B)参数,却在 Hugging Face 的物理推理榜单上拿下了第一名。按 NVIDIA 的说法,它不是普通用来聊天的多模态模型,而是专门给机器人充当「思考大脑」的视觉语言动作(VLA)核心。

以往的视觉模型只认得「这是桌子」「那是杯子」,Cosmos Reason 则具备空间与物理常识。面对复杂的指令,它能自己把大目标拆解成多个小步骤,在陌生的环境里靠常识做出推断。

除了给机器人当大脑,它还能自动给海量视频数据做标注和质检。Uber 已经在用它给自动驾驶训练数据打标,汽车零部件巨头 Magna 则把它装进了即时配送平台的轨迹规划系统里。

配套登场的还有世界生成模型。下载量超过 200 万次的 Cosmos 系列迎来了 Cosmos Transfer-2,可以根据深度图、高精地图直接生成逼真的物理场景。另外,团队还推出了蒸馏版,直接把原本 70 步的蒸馏过程缩减到了 1 步,大幅压低了推理门槛。

把真实世界搬进虚拟环境

要让 AI 脑子好使,光给模型还不够,你得有地方让它练级。

这次更新的 Omniverse NuRec 库,引入了带光线追踪的 3D 高斯泼溅(3DGS)渲染技术。工程师只要把传感器拍到的真实环境数据倒进去,就能直接重建出高精度的 3D 虚拟世界。

这套渲染库已经被塞进了自动驾驶开源仿真器 CARLA,福特和保时捷常用的数据引擎 FiftyOne 也宣布支持。同时,NVIDIA 开源了 Isaac Sim 5.0 和 Isaac Lab 2.2,还打通了 MuJoCo 和 OpenUSD 的格式壁垒,让 25 万机器人学习开发者不用再来回倒腾数据。

再加上 Boston Dynamics、Figure AI、Hexagon 以及亚马逊硬件制造部门的背书,整条机器人研发链条都在往这套仿真系统里搬。

为什么重要

对机器人开发者来说,这套组合拳几乎把门槛砸穿了。以前训具身智能,要么花大价钱买几十台机器人在仓库里日夜碰撞,要么被粗糙仿真带来的「现实落差」折磨得死去活来。现在用 7B 大小的开源模型配上高精度仿真,小团队在电脑里就能跑出接近真实物理规律的策略。

从行业竞争来看,NVIDIA 正在把大模型时代的垄断打法复制到机器人领域。它不仅卖芯片,还把物理引擎、合成数据生成、推理模型和云端平台全部做成标准件。对手哪怕能做出算力相当的芯片,也很难撼动这套包含 25 万开发者和众多整机巨头的软硬件生态。

在我们看来,这一步棋走得极准。生成式 AI 在聊天框里的竞争已经卷到极致,黄仁勋很清楚,下一个吞噬海量算力的黑洞是物理世界。把 Cosmos Reason 开源降低门槛,再用 RTX PRO 服务器和 DGX Cloud 收算力税,商业闭环跑得非常顺畅。

不过,虚拟仿真再逼真,终究无法百分之百还原现实世界里微小的摩擦力偏差与意外晃动。这套方案能否真的终结昂贵的「摔机测试」,还要看第一批用上它的具身机器人走出实验室后的实际表现。

来源 (3)

  1. [1]
    nvidianews.nvidia.com(在新标签页打开)原文nvidianews.nvidia.com
  2. [2]
    blogs.nvidia.com(在新标签页打开)报道blogs.nvidia.com
  3. [3]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选