Nvidia 聯合高校釋出 DreamDojo：用 4.4 萬小時人類影片教機器人搞懂物理

想讓機器人學會擦桌子、拿杯子，過去最痛苦的辦法就是拿真機一遍遍做動作錄資料，又慢又燒錢。

Nvidia 聯合加州大學伯克利分校、斯坦福大學、德克薩斯大學奧斯汀分校等機構，本月推出了一個叫 DreamDojo 的機器人世界模型。簡單說，就是先讓 AI 看 44000 小時的人類第一視角影片，把物理世界的常識看懂了，再去指揮具體的機器人。

先刷幾萬小時人類第一視角影片

DreamDojo 的核心是一個叫 DreamDojo-HV 的龐大影片資料集。按照專案團隊的說法，這是目前用於世界模型預訓練的最大數據集，時長是此前同類紀錄的 15 倍，覆蓋的技能多了 96 倍，場景更是擴充了 2000 倍。

這套系統分兩步走。第一階段是預訓練，模型通過潛動作機制直接從海量人類影片裡學習物理規律；第二階段是後訓練，把這些通用的物理直覺套到目標硬體上，用具體的機器人連續動作來微調。

這樣一來，機器人不用先去碰真實的物體，光靠看人幹活就能建立起空間和力學的概念。團隊這次在傅利葉 GR-1、宇樹 G1、智元 AgiBot 以及 YAM 等多款人形機器人上做了驗證，生成的動作推演效果相當逼真。

不僅如此，通過模型蒸餾，DreamDojo 能以每秒 10 幀的速度實現超過 1 分鐘的即時互動。這意味著它不僅能拿來做離線規劃，甚至能用於即時遙操作和動態調整。

為什麼重要

我們認為，DreamDojo 最聰明的點在於它繞開了機器人硬體的「資料荒」。真機採集演示資料的成本極其高昂，還容易摔壞硬體；而人類日常的第一視角影片不僅存量大，還天然帶著人類怎麼和環境打交道的資訊。

對開發團隊和機器人制造企業來說，它最大的即時價值是模擬。實驗室裡跑得順溜的機器人，一進真實工廠往往因為光線變化或障礙物位置不同就抓瞎。有了這樣的大規模世界模型，企業可以在虛擬環境裡先做策略評估和規劃測試，不用每次改程式碼都冒著炸機風險去物理產線試錯。

但這套路子也有隱患。人類的肉手和機器人的機械臂在力反饋、自由度上差異很大，看影片學來的物理直覺能不能毫無損耗地遷移到真機連續控制上，還需要在極其複雜的工業環境裡交卷。同時，10 FPS 的即時互動速度雖然比過去快得多，但應付高速碰撞或緊急避障依然顯得吃緊。

黃仁勳上個月在達沃斯把機器人稱作幾十年一遇的機會，馬斯克也曾放言特斯拉未來八成價值在 Optimus。Dealroom 資料顯示機器人初創公司在 2025 年拿下了 265 億美元融資。Nvidia 這次釋出的 DreamDojo，看起來就是想在硬體算力之外，把機器人生態的底層模型標準也牢牢抓在自己手裡。