跳到正文
IFAI

机器人

NVIDIA 发布 Isaac GR00T 蓝图:用少量动作合成海量训练数据

首次发布 传播指数 36

NVIDIA 在 CES 上发布用于人形机器人的 Isaac GR00T 合成动作生成蓝图。它能借助 Apple Vision Pro 捕捉少量真人动作,并通过仿真与世界模型 Cosmos 扩增为海量数据,供模仿学习训练。Boston Dynamics 与 Figure 已接入测试。

图:blogs.nvidia.com

造一个人形机器人,最卡脖子的往往不是电机,也不是电池,而是它根本不知道手该往哪放。

教机器人拿东西,最直接的办法是模仿学习:真人戴着动捕设备做一遍,机器人照着学。但这套流程既费时间又费钱,根本没法量产训练数据。

在 CES 上,黄仁勋拿出了解决办法:NVIDIA 发布了用于合成动作生成的 Isaac GR00T Blueprint,以及全新的物理世界基座模型平台 Cosmos,试图把机器人动作数据的生产搬进虚拟世界。

戴上 Vision Pro,把一次动作复制成成千上万份

NVIDIA 这套合成动作生成蓝图,核心逻辑就是用极少的人类演示,在仿真环境里批量膨胀出海量数据。

整套流程分三步。首先是 GR00T-Teleop 工作流,操作员戴上 Apple Vision Pro,把真人的肢体动作实时捕捉进数字孪生系统,由仿真里的机器人精准模仿并记录下来,作为基准真值。

第二步是 GR00T-Mimic,把这一段捕捉到的人类动作进行放大和变异,变成规模更大的合成动作集。

最后一步是 GR00T-Gen,它依托 NVIDIA 的 Omniverse 和 Cosmos 平台,通过领域随机化和三维升采样,把这批数据呈指数级扩散出去。

这批合成数据随后被喂进开源模块化机器人学习框架 Isaac Lab,在虚拟空间里教机器人如何安全、稳定地和周围环境互动。

吃了 200 万小时视频的物理世界模型

数据合成最大的痛点,是虚拟环境做出来的东西一放到现实就穿帮,也就是业内常说的 Sim-to-Real 鸿沟。为此,NVIDIA 同步推出了开源预训练世界基座模型平台 Cosmos。

Cosmos 专门用来生成符合真实物理规律的视频和世界状态,包含了不同尺寸的自回归模型和扩散模型。为了让它懂物理,NVIDIA 给它喂了 18 quadrillion 个 token,包括 200 万小时的自动驾驶、机器人、无人机实拍和合成画面。

单纯靠视频模型容易产生幻觉,机器人在虚拟世界里可能会穿模甚至反重力飘起来。NVIDIA 的解法是用 Omniverse 的精确物理模拟来做约束防护,再结合 Cosmos 将三维画面升采样到真实质感,把仿真环境尽可能拉到逼近现实的水平。

波士顿动力和 Figure 等人形机器人头牌厂商,目前都已经接入这套体系并跑出了成果。

为什么重要

人形机器人未来十年的市场规模预计能达到 380 亿美元,但工业和制造场景对安全和精度的容错率几乎为零。靠工人在车间里一遍遍做动作示范,不仅成本高到难以承受,也根本覆盖不了极端意外工况。

NVIDIA 这套组合拳的聪明之处,在于把机器人开发最沉重的物理试错成本,彻底转移到了算力里。戴上 Vision Pro 录一次动作,剩下全靠物理引擎和生成式 AI 自动脑补,中小机器人团队也能越过昂贵的数据门槛。现在机器人软硬件制造商已经可以申请该计划的早期访问。

我们认为,这也是 NVIDIA 在机器人时代重构 CUDA 护城河的标准动作。从动捕输入、物理引擎、世界模型到训练框架,它把上下游工具链锁得严丝合缝,逼得后来者只能在它的生态里搭积木。

不过隐患也同样明显。生成出来的合成动作哪怕在仿真里表现再完美,一旦遇上现实车间里光照剧烈变化、零件打滑或地面微小形变,端到端策略依然可能掉链子。Cosmos 到底能不能彻底填平仿真到现实的鸿沟,恐怕还要等更多实车间部署给出答案。

来源 (1)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com

话题追踪NVIDIA 人形机器人开发平台

这个话题的历次新闻,最新的在上面。

  1. Boston Dynamics 牵手 NVIDIA:纯电 Atlas 装上 Jetson Thor
  2. NVIDIA 发布 Mega 蓝图:用数字孪生在大规模部署前操练机器人机群
  3. NVIDIA 开放 Sensor RTX 抢先体验:用物理仿真加速自动驾驶与机器人研发
  4. NVIDIA 发布 Cosmos 世界模型:把千里路测放大成数十亿虚拟里程
  5. NVIDIA 发布 Isaac GR00T 蓝图:用少量动作合成海量训练数据本条

每日 AI 内容精选