跳到正文
IFAI

机器人

NVIDIA 升级机器人工具箱:Isaac Lab 正式开源,分词速度飙升 12 倍

首次发布 传播指数 36

NVIDIA 在 CoRL 大会上发布多款机器人开发工具,正式开源 Isaac Lab 1.2 框架,并推出 6 个 Project GR00T 人形机器人工作流。其开源的 Cosmos 视频分词器处理速度提升 12 倍,大幅降低了具身智能和世界模型的训练门槛。

NVIDIA 升级机器人工具箱:Isaac Lab 正式开源,分词速度飙升 12 倍
图:blogs.nvidia.com

NVIDIA Isaac Lab 1.2 是一个开源的机器人学习框架,专门用来在虚拟仿真环境里大规模训练机器人的运动和操作策略。配合这次一起开源的 Cosmos 视觉分词器,以及 Project GR00T 的人形机器人工作流,这套工具能帮开发者用更少的算力和更短的时间,训出能走、能抓、能理解环境的机器人。

它建立在 NVIDIA Omniverse 平台之上,支持 OpenUSD 标准,不管你是做双足人形、四足机器狗还是工业协作机械臂,都能直接拿来跑物理仿真和强化学习。

它能做什么

Isaac Lab 的核心任务是解决机器人现实训练成本太高的问题。开发者可以在仿真环境里并行运行成千上万个机器人实例,快速试错并积累训练策略,然后直接迁移到实体硬件上。

目前波士顿动力、Agility Robotics、1X、Unitree 宇树科技、小鹏机器人等头部团队已经在用它开发系统。NVIDIA 还联合 Hugging Face,把 Isaac Lab、LeRobot 和 Jetson 硬件打通,降低开源社区的上手门槛。

针对最难搞的人形机器人,这次公布的 Project GR00T 补充了 6 个专用工作流:负责生成 3D 仿真环境的 GR00T-Gen、生成动作轨迹的 GR00T-Mimic、做灵巧手操作的 GR00T-Dexterity、负责全身控制的 GR00T-Control、负责移动导航的 GR00T-Mobility,以及负责多模态感知的 GR00T-Perception。

视频分词提速 12 倍,怎么做到的

世界模型需要吞下成千上万小时的现实视频,才能预测机器人动作后环境会怎么变,但图像和视频的处理极耗算力和显存。

开源的 Cosmos 分词器专门用来给图片和视频切块压缩。它通过优化编码与解码结构,在保持高画面还原度和时序稳定性的同时,实现了极高的压缩比,图像重建速度比现存主流分词器快了最高 12 倍。人形机器人公司 1X 已经把自家的世界模型挑战赛数据集切换到了 Cosmos 分词器上,小鹏机器人和 Hillbot 也在用它处理高分辨率视频。

处理海量原始视频的工具 NeMo Curator 也加入了视频流水线,支持多机多卡线性扩展,能吞下超过 100 PB 的数据,数据清洗和标注速度比没优化的流水线快最多 7 倍。

去哪里下载试用

Isaac Lab 1.2 源代码已经放在 GitHub 上,附带从老版本 Isaac Gym 迁移的完整指南。Cosmos 视觉分词器也已在 GitHub 和 Hugging Face 同步开源。NeMo Curator 的视频处理模块会在 11 月底上线,GR00T 的 6 个工作流蓝图也会陆续开放。

想跑通整套流程,你需要支持 RTX 的 NVIDIA 显卡来运行 Omniverse 仿真,如果要训练世界模型或大规模数据清洗,则需要多卡 GPU 集群。

为什么重要

如果你是做具身智能、机械臂控制或移动机器人的开发者,Isaac Lab 1.2 和 Cosmos 分词器非常值得现在就试。过去搭建一套高保真仿真和世界模型数据流水线要踩无数坑,现在 NVIDIA 基本上把从数据预处理、物理仿真到策略训练的基础设施全开源了出来,省去了自己造轮子的成本。

在我们看来,这套工具最大的价值在于把机器人学习的门槛从「顶级实验室专属」拉到了普通工程团队也能跑通的水平。虽然硬件仿真依然离不开 NVIDIA 自己的 GPU 生态,但在统一的 OpenUSD 框架下,这套开源方案目前在仿真速度和生态完整度上都很难找到直接匹敌的对手。

来源 (1)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com

话题追踪NVIDIA 人形机器人开发平台

这个话题的历次新闻,最新的在上面。

  1. Boston Dynamics 牵手 NVIDIA:纯电 Atlas 装上 Jetson Thor
  2. NVIDIA 发布 Mega 蓝图:用数字孪生在大规模部署前操练机器人机群
  3. NVIDIA 开放 Sensor RTX 抢先体验:用物理仿真加速自动驾驶与机器人研发
  4. NVIDIA 发布 Cosmos 世界模型:把千里路测放大成数十亿虚拟里程
  5. NVIDIA 发布 Isaac GR00T 蓝图:用少量动作合成海量训练数据

每日 AI 内容精选