跳到正文
IFAI

機器人

NVIDIA 釋出 Isaac GR00T 藍圖:用少量動作合成海量訓練資料

首次發布 傳播指數 36

NVIDIA 在 CES 上釋出用於人形機器人的 Isaac GR00T 合成動作生成藍圖。它能借助 Apple Vision Pro 捕捉少量真人動作,並通過模擬與世界模型 Cosmos 擴增為海量資料,供模仿學習訓練。Boston Dynamics 與 Figure 已接入測試。

圖:blogs.nvidia.com

造一個人形機器人,最卡脖子的往往不是電機,也不是電池,而是它根本不知道手該往哪放。

教機器人拿東西,最直接的辦法是模仿學習:真人戴著動捕裝置做一遍,機器人照著學。但這套流程既費時間又費錢,根本沒法量產訓練資料。

在 CES 上,黃仁勳拿出瞭解決辦法:NVIDIA 釋出了用於合成動作生成的 Isaac GR00T Blueprint,以及全新的物理世界基座模型平臺 Cosmos,試圖把機器人動作資料的生產搬進虛擬世界。

戴上 Vision Pro,把一次動作複製成成千上萬份

NVIDIA 這套合成動作生成藍圖,核心邏輯就是用極少的人類演示,在模擬環境裡批次膨脹出海量資料。

整套流程分三步。首先是 GR00T-Teleop 工作流,操作員戴上 Apple Vision Pro,把真人的肢體動作即時捕捉進數字孿生系統,由模擬裡的機器人精準模仿並記錄下來,作為基準真值。

第二步是 GR00T-Mimic,把這一段捕捉到的人類動作進行放大和變異,變成規模更大的合成動作集。

最後一步是 GR00T-Gen,它依託 NVIDIA 的 Omniverse 和 Cosmos 平臺,通過領域隨機化和三維升取樣,把這批資料呈指數級擴散出去。

這批合成數據隨後被喂進開源模組化機器人學習框架 Isaac Lab,在虛擬空間裡教機器人如何安全、穩定地和周圍環境互動。

吃了 200 萬小時影片的物理世界模型

資料合成最大的痛點,是虛擬環境做出來的東西一放到現實就穿幫,也就是業內常說的 Sim-to-Real 鴻溝。為此,NVIDIA 同步推出了開源預訓練世界基座模型平臺 Cosmos。

Cosmos 專門用來生成符合真實物理規律的影片和世界狀態,包含了不同尺寸的自迴歸模型和擴散模型。為了讓它懂物理,NVIDIA 給它餵了 18 quadrillion 個 token,包括 200 萬小時的自動駕駛、機器人、無人機實拍和合成畫面。

單純靠影片模型容易產生幻覺,機器人在虛擬世界裡可能會穿模甚至反重力飄起來。NVIDIA 的解法是用 Omniverse 的精確物理模擬來做約束防護,再結合 Cosmos 將三維畫面升取樣到真實質感,把模擬環境儘可能拉到逼近現實的水平。

波士頓動力和 Figure 等人形機器人頭牌廠商,目前都已經接入這套體系並跑出了成果。

為什麼重要

人形機器人未來十年的市場規模預計能達到 380 億美元,但工業和製造場景對安全和精度的容錯率幾乎為零。靠工人在車間裡一遍遍做動作示範,不僅成本高到難以承受,也根本覆蓋不了極端意外工況。

NVIDIA 這套組合拳的聰明之處,在於把機器人開發最沉重的物理試錯成本,徹底轉移到了算力裡。戴上 Vision Pro 錄一次動作,剩下全靠物理引擎和生成式 AI 自動腦補,中小機器人團隊也能越過昂貴的資料門檻。現在機器人軟硬體製造商已經可以申請該計劃的早期訪問。

我們認為,這也是 NVIDIA 在機器人時代重構 CUDA 護城河的標準動作。從動捕輸入、物理引擎、世界模型到訓練框架,它把上下游工具鏈鎖得嚴絲合縫,逼得後來者只能在它的生態裡搭積木。

不過隱患也同樣明顯。生成出來的合成動作哪怕在模擬裡表現再完美,一旦遇上現實車間裡光照劇烈變化、零件打滑或地面微小形變,端到端策略依然可能掉鏈子。Cosmos 到底能不能徹底填平模擬到現實的鴻溝,恐怕還要等更多實車間部署給出答案。

來源 (1)

  1. [1]
    blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com

話題追蹤NVIDIA 人形機器人開發平臺

這個話題的歷次新聞,最新的在上面。

  1. Boston Dynamics 牽手 NVIDIA:純電 Atlas 裝上 Jetson Thor
  2. NVIDIA 釋出 Mega 藍圖:用數字孿生在大規模部署前操練機器人機群
  3. NVIDIA 開放 Sensor RTX 搶先體驗:用物理模擬加速自動駕駛與機器人研發
  4. NVIDIA 釋出 Cosmos 世界模型:把千里路測放大成數十億虛擬里程
  5. NVIDIA 釋出 Isaac GR00T 藍圖:用少量動作合成海量訓練資料本則

每日 AI 內容精選