NVIDIAが3D世界生成ツール「Lyra 2.0」をオープンソース公開、動画からロボット訓練環境を構築

スマホで部屋の中を歩きながら動画を撮るだけで、自由に歩き回れる 3D 空間が出来上がる。しかも、別の部屋を巡って 1 時間後に戻ってきても、机の上のマグカップは形も位置も変わらずそのまま残っている。

NVIDIA はこうした一貫した空間再現を可能にする 3D 世界生成フレームワーク「Lyra 2.0」を発表し、オープンソースとして公開しました。

「空間の物忘れ」と「時間ドリフト」を克服する仕組み

動画から 3D シーンを自動生成する試みはこれまでもありましたが、長い移動経路になると破綻するという大きな壁に直面していました。

既存の生成モデルは、視界から外れた領域の情報をコンテキストから落としてしまう「空間の物忘れ」を起こしがちです。一度通り過ぎたリビングに戻ると、以前と違う家具が生成されてしまうのが典型例でした。

さらに、フレームを重ねるごとに小さな生成誤差が積み重なり、空間の形状自体が歪んでいく「時間ドリフト」も避けられませんでした。

Lyra 2.0 は、幾何学情報の保持と外観生成の役割を明確に分けることでこれを解決しました。フレームごとの 3D ジオメトリを過去フレームの検索ルーティング専用として保持し、視点が戻った際に正しい対応関係を復元します。

ドリフト対策としては、あえてモデル自身の崩れた出力を学習データに混ぜ、自律的に歪みを修復する訓練を施しました。こうして得られた動画軌跡をフィードフォワード型の 3D ガウススプラッティングに変換し、安定した 3D 空間を構築します。

Isaac Simと直結、動画がそのままロボットの訓練場に

このツールの真の狙いは、ロボティクス分野におけるシミュレーション環境の自動化にあります。

Lyra 2.0 で生成した 3D シーンは、そのまま NVIDIA のロボットシミュレーター「Isaac Sim」へエクスポートできます。

自律走行ロボットやロボット掃除機などを訓練する際、手作業でリアルな 3D 空間を作り込むには膨大なコストがかかります。

Lyra 2.0 を使えば、実際の倉庫やオフィスを撮影した動画から即座にシミュレーション用の訓練環境を立ち上げ、ナビゲーションや自己位置推定のテストを行えます。

しかもモデル全体のサイズはわずか 131MB と極めて軽量です。高価なワークステーションを用意しなくても、一般的なコンシューマー向け GPU で十分に動作する点も実用的です。

なぜ重要か

Lyra 2.0 の真価は、単なる 3D 生成ツールにとどまらず、動画データをそのままフィジカル AI の訓練資産へ転換するパイプラインを築いた点にあります。

ロボット開発者にとって、シミュレーション用アセットの不足は長年の課題でした。専門的な 3D スキャン機材を使わず、普通の動画から Isaac Sim 直結の環境を生成できる手軽さは、研究開発のサイクルを大幅に縮めるはずです。

業界全体を見ても、NVIDIA の戦略は極めて合理的です。他社が動画生成 AI の長さや美しさを競う中で、NVIDIA は動画を「3D 世界を構築するための中間データ」として定義し、自社のロボット基盤へと誘導しています。

現状では静的な環境の再現が中心で、物体との複雑な物理接触をシミュレートする段階には至っていません。それでも、131MB というコンパクトさで長距離移動の一貫性を実現した功績は大きく、世界生成モデルの実用化に向けた確実な前進と言えます。