跳到正文
IFAI

機器人

NVIDIA 升級機器人工具箱:Isaac Lab 正式開源,分詞速度飆升 12 倍

首次發布 傳播指數 36

NVIDIA 在 CoRL 大會上釋出多款機器人開發工具,正式開源 Isaac Lab 1.2 框架,並推出 6 個 Project GR00T 人形機器人工作流。其開源的 Cosmos 影片分詞器處理速度提升 12 倍,大幅降低了具身智慧和世界模型的訓練門檻。

NVIDIA 升級機器人工具箱:Isaac Lab 正式開源,分詞速度飆升 12 倍
圖:blogs.nvidia.com

NVIDIA Isaac Lab 1.2 是一個開源的機器人學習框架,專門用來在虛擬模擬環境裡大規模訓練機器人的運動和操作策略。配合這次一起開源的 Cosmos 視覺分詞器,以及 Project GR00T 的人形機器人工作流,這套工具能幫開發者用更少的算力和更短的時間,訓出能走、能抓、能理解環境的機器人。

它建立在 NVIDIA Omniverse 平臺之上,支援 OpenUSD 標準,不管你是做雙足人形、四足機器狗還是工業協作機械臂,都能直接拿來跑物理模擬和強化學習。

它能做什麼

Isaac Lab 的核心任務是解決機器人現實訓練成本太高的問題。開發者可以在模擬環境裡並行執行成千上萬個機器人例項,快速試錯並積累訓練策略,然後直接遷移到實體硬體上。

目前波士頓動力、Agility Robotics、1X、Unitree 宇樹科技、小鵬機器人等頭部團隊已經在用它開發系統。NVIDIA 還聯合 Hugging Face,把 Isaac Lab、LeRobot 和 Jetson 硬體打通,降低開源社群的上手門檻。

針對最難搞的人形機器人,這次公佈的 Project GR00T 補充了 6 個專用工作流:負責生成 3D 模擬環境的 GR00T-Gen、生成動作軌跡的 GR00T-Mimic、做靈巧手操作的 GR00T-Dexterity、負責全身控制的 GR00T-Control、負責移動導航的 GR00T-Mobility,以及負責多模態感知的 GR00T-Perception。

影片分詞提速 12 倍,怎麼做到的

世界模型需要吞下成千上萬小時的現實影片,才能預測機器人動作後環境會怎麼變,但影像和影片的處理極耗算力和視訊記憶體。

開源的 Cosmos 分詞器專門用來給圖片和影片切塊壓縮。它通過最佳化編碼與解碼結構,在保持高畫面還原度和時序穩定性的同時,實現了極高的壓縮比,影像重建速度比現存主流分詞器快了最高 12 倍。人形機器人公司 1X 已經把自家的世界模型挑戰賽資料集切換到了 Cosmos 分詞器上,小鵬機器人和 Hillbot 也在用它處理高解析度影片。

處理海量原始影片的工具 NeMo Curator 也加入了影片流水線,支援多機多卡線性擴充套件,能吞下超過 100 PB 的資料,資料清洗和標註速度比沒最佳化的流水線快最多 7 倍。

去哪裡下載試用

Isaac Lab 1.2 原始碼已經放在 GitHub 上,附帶從老版本 Isaac Gym 遷移的完整指南。Cosmos 視覺分詞器也已在 GitHub 和 Hugging Face 同步開源。NeMo Curator 的影片處理模組會在 11 月底上線,GR00T 的 6 個工作流藍圖也會陸續開放。

想跑通整套流程,你需要支援 RTX 的 NVIDIA 顯示卡來執行 Omniverse 模擬,如果要訓練世界模型或大規模資料清洗,則需要多卡 GPU 叢集。

為什麼重要

如果你是做具身智慧、機械臂控制或移動機器人的開發者,Isaac Lab 1.2 和 Cosmos 分詞器非常值得現在就試。過去搭建一套高保真模擬和世界模型資料流水線要踩無數坑,現在 NVIDIA 基本上把從資料預處理、物理模擬到策略訓練的基礎設施全開源了出來,省去了自己造輪子的成本。

在我們看來,這套工具最大的價值在於把機器人學習的門檻從「頂級實驗室專屬」拉到了普通工程團隊也能跑通的水平。雖然硬體模擬依然離不開 NVIDIA 自己的 GPU 生態,但在統一的 OpenUSD 框架下,這套開源方案目前在模擬速度和生態完整度上都很難找到直接匹敵的對手。

來源 (1)

  1. [1]
    blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com

話題追蹤NVIDIA 人形機器人開發平臺

這個話題的歷次新聞,最新的在上面。

  1. Boston Dynamics 牽手 NVIDIA:純電 Atlas 裝上 Jetson Thor
  2. NVIDIA 釋出 Mega 藍圖:用數字孿生在大規模部署前操練機器人機群
  3. NVIDIA 開放 Sensor RTX 搶先體驗:用物理模擬加速自動駕駛與機器人研發
  4. NVIDIA 釋出 Cosmos 世界模型:把千里路測放大成數十億虛擬里程
  5. NVIDIA 釋出 Isaac GR00T 藍圖:用少量動作合成海量訓練資料

每日 AI 內容精選