NVIDIA、Apple Vision Proで人型ロボットを遠隔操作する開発者ツールを発表

Apple Vision Pro を使った空間コンピューティングの用途として、NVIDIA は非常に実践的な使い道を提示しました。人型ロボットの遠隔操縦と訓練です。

NVIDIA は 8 月 5 日、Apple Vision Pro などの空間コンピューティング機器を用いて人型ロボットを遠隔操作し、動作データを収集・生成するための開発ツール群を発表しました。

NVIDIA のジェンスン・フアン CEO は、AI の次の波はロボティクスであり、その中でも最も刺激的な進展がヒューマノイドであると述べています。

手の動きをそのまま写すのではなく意図を推論する

今回のシステムは、単に頭部トラッキングに合わせてロボットのカメラを動かすだけにとどまりません。

Apple Vision Pro に搭載されたセンサーを活用し、操縦者の手の動きやジェスチャーを正確に記録します。操縦者はロボットの視界を見ながら、ロボットの手や腕を直接操作できます。

ただし、人間の手の動きを完全にそのままロボットに反映させるのは危険を伴います。操縦者には物体に触れた触覚フィードバックがないため、力を入れすぎて物体を壊してしまう恐れがあるためです。

そこで NVIDIA の MimicGen NIM マイクロサービスは、操縦者のジェスチャーから意図を推論し、ロボットが安全かつ適切に動けるよう動作データを生成します。

わずかな実演から大量の合成データを生成

人型ロボットの開発において最大の障壁となっているのが、現実世界での膨大なデータ収集作業です。

ロボット開発を手がける Fourier のアレックス・グー CEO も、現実世界での過酷なデータ収集が開発の大きな負担になっていると指摘しています。

SIGGRAPH で披露されたデモでは、開発者が Vision Pro を装着して数回だけ作業を実演しました。そのわずかな記録をもとに、MimicGen とシミュレーション環境の Isaac Sim が膨大な合成運動・知覚データを自動生成します。

生成されたデータは、人型ロボット向け基盤モデルである Project GR00T の学習に活用されます。これにより、データ収集にかかるコストと時間を大幅に圧縮できます。

これらのツール群やワークフロー管理の OSMO は、NVIDIA Humanoid Robot Developer Program を通じて提供されます。利用対象は現時点でロボットのハードウェアおよびソフトウェア開発企業に限定されています。

なぜ重要か

人型ロボット開発で現在最も不足しているリソースは、物理世界における高品質な行動データです。

自動運転車のように街中を走らせてデータを集めるわけにはいかないため、人型ロボットの動作学習はこれまで非常にコストがかかる作業でした。NVIDIA が Vision Pro を高精度なモーションキャプチャ機器として位置づけ、シミュレータ側でデータを水増し生成できるようにしたアプローチは極めて合理的だと考えます。

業界全体から見ると、NVIDIA はロボットの完成品を自社で作ることなく、シミュレーション、データ生成、推論の全レイヤーを押さえるプラットフォーマーの地位を固めつつあります。どのロボットメーカーも、開発効率を上げるためには NVIDIA のエコシステムに頼らざるを得ない構図ができあがりつつあります。

一方で、シミュレーションと現実のギャップをどこまで埋められるかは未知数です。触覚のない状態で意図を推論する仕組みが、工場の現場などで求められるミリ単位の精密作業や予期せぬトラブルにどこまで耐えられるかは、今後の実戦投入を見守る必要があります。