跳到正文
IFAI

機器人

NVIDIA 全面押注具身智慧:推人形機器人全套開發工具與雲服務

首次發布 傳播指數 36

NVIDIA 在 SIGGRAPH 上面向全球人形機器人開發者推出全套套件,包括用於生成模擬資料的 NIM 微服務、多階段任務排程服務 OSMO,以及配合 Apple Vision Pro 採集少量演示即可擴增訓練資料的遙操作工作流。開發者加入開發者計劃即可申請早期體驗。

NVIDIA 全面押注具身智慧:推人形機器人全套開發工具與雲服務
圖:nvidianews.nvidia.com

造一個人形機器人,最讓人頭疼的往往不是關節電機怎麼裝,而是怎麼教它幹活。

過去訓練機器人,工程師得戴著動捕裝置或拿著手柄,一遍遍做示範。這種物理遙操作既昂貴又耗時,採集幾百個小時的資料可能就得折騰幾個月。

在 SIGGRAPH 現場,NVIDIA 拿出了自己的一整套解法。黃仁勳宣佈為全球人形機器人開發者推出一攬子套件,包括專門的 NIM 微服務、工作流排程服務 OSMO,以及一套用極少量示範資料就能訓練機器人的新流程。

戴上 Vision Pro 做一次,剩下的交給合成數據

NVIDIA 演示的這套新工作流,思路很簡單:人類只做最小限度的示範,剩下的資料全靠 AI 自己生成。

工程師戴上 Apple Vision Pro 做幾套動作示範,系統採集到極少量的遙運算元據。隨後,這些動作被放進基於 Omniverse 的物理模擬平臺 NVIDIA Isaac Sim 中。

接下來就輪到兩個新發布的 NIM 微服務登場了。其中一個叫 MimicGen,它能根據剛錄下的少量動作軌跡,自動變換條件,生成海量的合成動作資料;另一個叫 Robocasa,能在 3D 通用格式 OpenUSD 裡自動生成各種機器人任務和模擬場景。

這些真實與合成數據合在一起,用來訓練 NVIDIA 之前公佈的人形機器人通用基礎模型 Project GR00T。接著再用 Isaac Lab 裡的環境讓機器人做強化學習,反覆迭代模型。

為了把這一長串折騰人的流程串起來,NVIDIA 上線了雲原生編排服務 OSMO。不管是本地叢集還是雲端算力,從生成資料、訓練模型到在環測試,OSMO 都能自動排程任務。官方表示,它能把原本幾個月的開發週期壓到一週以內,而容器化的 NIM 微服務能把部署時間從幾週縮短到幾分鐘。

朋友圈拉來半個機器人圈

除了軟體套件,NVIDIA 還梳理了底層硬體矩陣:雲端訓練用 AI 超算,模擬和技能學習用 Isaac Sim,機器人本體端則跑在 Jetson Thor 車載及機器人計算晶片上。

他們同步開放了人形機器人開發者計劃。首批拿到早期訪問許可權的名單相當豪華,涵蓋了 Boston Dynamics、Figure、1X、Skild AI、Field AI、Mentee、Neura Robotics,以及中國的傅利葉、逐際動力、銀河通用、星動紀元和字節跳動研究團隊(ByteDance Research)。

傅利葉 CEO 顧捷提到,人形機器人研發極度複雜,從物理世界硬採資料非常費時費力,這套模擬與生成式 AI 工具有助於幫模型解決冷啟動難題。

為什麼重要

我們認為,NVIDIA 這次動作最聰明的地方,在於它精準踩中了當前人形機器人行業最大的死穴——資料飢渴。

大語言模型能靠抓取網際網路上海量文本起步,但具身智慧在物理世界裡沒有現成的現成網際網路資料可用。如果全靠實機採集,成本高到普通創業團隊根本承受不起。NVIDIA 拿出「Vision Pro 採集加模擬擴增」的方案,相當於給開發者提供了一條低成本造資料的捷徑。

對開發者和初創團隊來說,這意味著你不需要養一支龐大的動作採集隊伍,就能開始訓練自己的基礎模型。只要買得起算力和頭顯,技術驗證的門檻被大幅拉低了。

對行業而言,NVIDIA 顯然想把大模型時代的霸權原封不動搬到機器人領域。從底層的超算晶片、板載計算模組 Jetson Thor,到中層的 Omniverse 模擬引擎,再到頂層的模型微服務與任務排程,它正在把具身智慧的工具鏈焊得死死的。未來哪怕機器人本體不是 NVIDIA 做的,裡面的大腦和開發流程也全在它的生態裡打轉。

不過看起來隱患也很明確。合成數據雖然便宜、量大,但模擬環境和物理現實之間的差異——也就是業內常說的 Sim-to-Real 鴻溝——依然是玄學。機器人完全在虛擬世界裡學出來的靈巧操作,落到真實複雜的非結構化環境裡到底會不會翻車,依然要打個問號。

來源 (1)

  1. [1]
    nvidianews.nvidia.com(在新分頁開啟)原文nvidianews.nvidia.com

話題追蹤Nvidia 人形機器人開發平臺

這個話題的歷次新聞,最新的在上面。

  1. Nvidia 推出機器人套件:戴上 Apple Vision Pro 就能遙控人型機器人
  2. NVIDIA 全面押注具身智慧:推人形機器人全套開發工具與雲服務本則

每日 AI 內容精選