NVIDIAがNeuralangeloを発表：スマホ動画から高精度な3Dシーンを復元

Neuralangeloは、スマートフォンなどで撮影した通常の2D動画から、高精細な3Dモデルを生成できるNVIDIA ResearchのオープンソースAIです。

対象物をさまざまな角度から撮影した映像を入力するだけで、細かな質感を持った立体アセットへ直接変換してくれます。

何ができるのか

従来の3D再構成AIでは、屋根の瓦のような繰り返しの模様や、単色で変化の少ない面、明暗差の激しい領域を正確に復元するのが困難でした。

Neuralangeloはこうした弱点を克服し、光沢のある大理石、ガラス窓、屋根瓦などの複雑なテクスチャを高精度に再現できます。

デモでは、彫刻の傑作であるミケランジェロの「ダビデ像」から、一般的なトラック、さらにはNVIDIA本社のキャンパス内にある公園や建物の内外装まで忠実に3D化されました。

生成された3Dアセットは一般的なデザインツールに取り込み可能で、ゲーム開発やロボティクス、産業向けデジタルツインの制作にそのまま活用できます。

仕組みと利用方法

技術面では、NVIDIA Instant NeRFの基盤技術であるインスタント・ニューラル・グラフィックス・プリミティブを採用しています。

動画から視点の異なるフレームを抽出し、カメラ位置を推定したうえで、まず大まかな立体形状を生成します。その後、細部のテクスチャを段階的に最適化していくことで、彫刻家が粗削りから細工を施すようにモデルを仕上げていきます。

本研究はCVPR 2023で発表されており、コードはすでにGitHub上で公開されています。

なぜ重要か

高価な3DスキャナーやLiDARを使わず、手持ちのスマートフォン動画だけで実用レベルの3Dモデルを生成できる点が大きな強みです。

単に視点を変えて映像を表示するだけでなく、編集可能な高精度ジオメトリとして扱えるため、インディーゲーム制作者や3Dクリエイターの工数を大幅に削減できるはずです。