NVIDIA 釋出 Isaac GR00T 藍圖:用少量動作合成海量訓練資料
NVIDIA 在 CES 上釋出用於人形機器人的 Isaac GR00T 合成動作生成藍圖。它能借助 Apple Vision Pro 捕捉少量真人動作,並通過模擬與世界模型 Cosmos 擴增為海量資料,供模仿學習訓練。Boston Dynamics 與 Figure 已接入測試。
造一個人形機器人,最卡脖子的往往不是電機,也不是電池,而是它根本不知道手該往哪放。
教機器人拿東西,最直接的辦法是模仿學習:真人戴著動捕裝置做一遍,機器人照著學。但這套流程既費時間又費錢,根本沒法量產訓練資料。
在 CES 上,黃仁勳拿出瞭解決辦法:NVIDIA 釋出了用於合成動作生成的 Isaac GR00T Blueprint,以及全新的物理世界基座模型平臺 Cosmos,試圖把機器人動作資料的生產搬進虛擬世界。
戴上 Vision Pro,把一次動作複製成成千上萬份
NVIDIA 這套合成動作生成藍圖,核心邏輯就是用極少的人類演示,在模擬環境裡批次膨脹出海量資料。
整套流程分三步。首先是 GR00T-Teleop 工作流,操作員戴上 Apple Vision Pro,把真人的肢體動作即時捕捉進數字孿生系統,由模擬裡的機器人精準模仿並記錄下來,作為基準真值。
第二步是 GR00T-Mimic,把這一段捕捉到的人類動作進行放大和變異,變成規模更大的合成動作集。
最後一步是 GR00T-Gen,它依託 NVIDIA 的 Omniverse 和 Cosmos 平臺,通過領域隨機化和三維升取樣,把這批資料呈指數級擴散出去。
這批合成數據隨後被喂進開源模組化機器人學習框架 Isaac Lab,在虛擬空間裡教機器人如何安全、穩定地和周圍環境互動。
吃了 200 萬小時影片的物理世界模型
資料合成最大的痛點,是虛擬環境做出來的東西一放到現實就穿幫,也就是業內常說的 Sim-to-Real 鴻溝。為此,NVIDIA 同步推出了開源預訓練世界基座模型平臺 Cosmos。
Cosmos 專門用來生成符合真實物理規律的影片和世界狀態,包含了不同尺寸的自迴歸模型和擴散模型。為了讓它懂物理,NVIDIA 給它餵了 18 quadrillion 個 token,包括 200 萬小時的自動駕駛、機器人、無人機實拍和合成畫面。
單純靠影片模型容易產生幻覺,機器人在虛擬世界裡可能會穿模甚至反重力飄起來。NVIDIA 的解法是用 Omniverse 的精確物理模擬來做約束防護,再結合 Cosmos 將三維畫面升取樣到真實質感,把模擬環境儘可能拉到逼近現實的水平。
波士頓動力和 Figure 等人形機器人頭牌廠商,目前都已經接入這套體系並跑出了成果。
為什麼重要
人形機器人未來十年的市場規模預計能達到 380 億美元,但工業和製造場景對安全和精度的容錯率幾乎為零。靠工人在車間裡一遍遍做動作示範,不僅成本高到難以承受,也根本覆蓋不了極端意外工況。
NVIDIA 這套組合拳的聰明之處,在於把機器人開發最沉重的物理試錯成本,徹底轉移到了算力裡。戴上 Vision Pro 錄一次動作,剩下全靠物理引擎和生成式 AI 自動腦補,中小機器人團隊也能越過昂貴的資料門檻。現在機器人軟硬體製造商已經可以申請該計劃的早期訪問。
我們認為,這也是 NVIDIA 在機器人時代重構 CUDA 護城河的標準動作。從動捕輸入、物理引擎、世界模型到訓練框架,它把上下游工具鏈鎖得嚴絲合縫,逼得後來者只能在它的生態裡搭積木。
不過隱患也同樣明顯。生成出來的合成動作哪怕在模擬裡表現再完美,一旦遇上現實車間裡光照劇烈變化、零件打滑或地面微小形變,端到端策略依然可能掉鏈子。Cosmos 到底能不能徹底填平模擬到現實的鴻溝,恐怕還要等更多實車間部署給出答案。
來源 (1)
- blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com