Nvidia 联合高校发布 DreamDojo：用 4.4 万小时人类视频教机器人搞懂物理

想让机器人学会擦桌子、拿杯子，过去最痛苦的办法就是拿真机一遍遍做动作录数据，又慢又烧钱。

Nvidia 联合加州大学伯克利分校、斯坦福大学、德克萨斯大学奥斯汀分校等机构，本月推出了一个叫 DreamDojo 的机器人世界模型。简单说，就是先让 AI 看 44000 小时的人类第一视角视频，把物理世界的常识看懂了，再去指挥具体的机器人。

先刷几万小时人类第一视角视频

DreamDojo 的核心是一个叫 DreamDojo-HV 的庞大视频数据集。按照项目团队的说法，这是目前用于世界模型预训练的最大数据集，时长是此前同类纪录的 15 倍，覆盖的技能多了 96 倍，场景更是扩充了 2000 倍。

这套系统分两步走。第一阶段是预训练，模型通过潜动作机制直接从海量人类视频里学习物理规律；第二阶段是后训练，把这些通用的物理直觉套到目标硬件上，用具体的机器人连续动作来微调。

这样一来，机器人不用先去碰真实的物体，光靠看人干活就能建立起空间和力学的概念。团队这次在傅利叶 GR-1、宇树 G1、智元 AgiBot 以及 YAM 等多款人形机器人上做了验证，生成的动作推演效果相当逼真。

不仅如此，通过模型蒸馏，DreamDojo 能以每秒 10 帧的速度实现超过 1 分钟的实时交互。这意味着它不仅能拿来做离线规划，甚至能用于实时遥操作和动态调整。

为什么重要

我们认为，DreamDojo 最聪明的点在于它绕开了机器人硬件的「数据荒」。真机采集演示数据的成本极其高昂，还容易摔坏硬件；而人类日常的第一视角视频不仅存量大，还天然带着人类怎么和环境打交道的信息。

对开发团队和机器人制造企业来说，它最大的即时价值是模拟。实验室里跑得顺溜的机器人，一进真实工厂往往因为光线变化或障碍物位置不同就抓瞎。有了这样的大规模世界模型，企业可以在虚拟环境里先做策略评估和规划测试，不用每次改代码都冒着炸机风险去物理产线试错。

但这套路子也有隐患。人类的肉手和机器人的机械臂在力反馈、自由度上差异很大，看视频学来的物理直觉能不能毫无损耗地迁移到真机连续控制上，还需要在极其复杂的工业环境里交卷。同时，10 FPS 的实时交互速度虽然比过去快得多，但应付高速碰撞或紧急避障依然显得吃紧。

黄仁勋上个月在达沃斯把机器人称作几十年一遇的机会，马斯克也曾放言特斯拉未来八成价值在 Optimus。Dealroom 数据显示机器人初创公司在 2025 年拿下了 265 亿美元融资。Nvidia 这次发布的 DreamDojo，看起来就是想在硬件算力之外，把机器人生态的底层模型标准也牢牢抓在自己手里。