NVIDIA、4.4万時間の人体視点映像で学ぶロボット用世界モデル「DreamDojo」発表

ロボットに物を掴ませたり作業をさせたりするには、これまで実機を人間が遠隔操作して膨大なデータを集める必要があり、コストも時間も大きな課題でした。

Nvidiaは今月、カリフォルニア大学バークレー校、スタンフォード大学、テキサス大学オースティン校などの研究チームとともに、ロボット向け世界モデル「DreamDojo」を発表しました。人間の視点で撮影された大量の動画を見ることで、物理世界の法則を学習するシステムです。

4万4000時間の人体主観映像で物理法則を学ぶ

DreamDojoの中核にあるのは、「DreamDojo-HV」と呼ばれる独自の動画データセットです。世界モデルの事前学習用としては過去最大規模となる4万4000時間の人体主観映像を含んでおり、従来の最大データセットと比べて動画の長さで15倍、スキル数で96倍、収録シーン数で2000倍に拡大しています。

学習は2段階で進められます。まず大規模な人間映像から潜在行動を用いて物理的な常識を獲得し、その後のポストトレーニングで目的のロボットハードウェアに合わせた連続動作を微調整します。

蒸留技術により、毎秒10フレームのリアルタイム対話を1分以上維持できる処理速度も達成しました。研究チームは、GR-1、G1、AgiBot、YAMといった複数の人型ロボットで、現実的な動作予測を行えることを実証しています。

なぜ重要か

DreamDojoの賢い点は、ロボット実機によるデータ収集という最大のボトルネックを回避した点にあります。実機を動かして集めるデータは高価で破損リスクも伴いますが、人間が日常的に記録した一人称視点の動画ならすでに豊富に存在します。

産業用途を検討する企業にとって、最も実用的な価値は高精度なシミュレーションにあります。照明の違いや未知の障害物がある実際の工場現場へロボットを投入する前に、世界モデル上でポリシーの検証や動作計画のテストを安全に行えるようになります。

ただし課題もあります。人間の手と機械のグリッパーでは自由度や触覚のフィードバックが大きく異なるため、動画で得た視覚的直感がどこまで実機の精密な力制御に反映されるかはまだ未知数です。また、毎秒10フレームという速度も、高速な衝突回避などの場面では十分とは言えない可能性があります。

ジェンスン・フアンCEOがロボット技術を世代に一度の好機と位置づけるなか、Nvidiaはチップ供給にとどまらず、ロボットの基礎モデルでも主導権を握ろうとしているように見えます。