NVIDIAとメリーランド大、自由視点映像を配信できる「QUEEN」発表

スポーツ観戦やライブ配信で、自分の好きな角度から見直せたらいいのにと思ったことはないでしょうか。従来の自由視点映像は、膨大な計算時間と巨大なデータサイズが壁になり、リアルタイムでの配信が極めて困難でした。

NVIDIA Researchとメリーランド大学は、NeurIPS 2024にて、動的シーンを高速かつ効率的に3D再構成するAIモデル「QUEEN」を発表しました。

5秒の学習と350fpsの描画

QUEENは、複数のカメラで撮影した2D映像から、視聴者が自由な角度から動的シーンを体験できる自由視点映像を生成するAIパイプラインです。

これまでの手法は、配信にはメモリ消費が大きすぎるか、データ量を削るために画質を大きく犠牲にするかの二者択一でした。

NVIDIA Tensor Core GPUを用いた検証において、QUEENは複数の2D映像を入力した後、5秒未満の学習時間で約350fpsの高速描画を実現しました。

圧縮率、画質、エンコード時間、描画時間のバランスを最適化することで、サーバーからクライアント端末へ高品質な3D映像をスムーズにストリーミング伝送できます。

静止領域を「使い回す」効率化

この驚異的な処理速度を支えているのは、極めて合理的な計算の省略です。

現実世界の映像では、背景をはじめとする大半の領域がフレーム間で変化しません。

QUEENは静止している領域のレンダリング結果を追跡して再利用し、時間経過で変化する動的な被写体だけに計算リソースを集中させます。

火花や炎、動物の毛並みといった表現が難しい微細な動的テクスチャであっても、高い品質を保ったまま再現可能です。

用途としては、スポーツ中継での自由視点リプレイや臨場感あるコンサート配信、料理や折り紙の手元を好きな角度から学べるビデオ会議、倉庫や工場でロボットを遠隔操作する際の深度把握などが挙げられています。コードは近いうちにオープンソースとして公開される予定です。

なぜ重要か

私たちは、QUEENが純粋にモデルを巨大化させるのではなく、変化のない背景を再利用して難易度の高い動的要素に計算を集中させるという、現実的な引き算のエンジニアリングを採った点を高く評価しています。

クリエイターや配信プラットフォームにとって、自由視点映像の制作は長年コストと処理時間の塊でした。学習時間が5秒未満で350fpsの描画が可能になれば、多視点カメラさえ用意すればほぼリアルタイムでインタラクティブな映像を組み上げられるようになります。

産業用途、とりわけ遠隔操作やロボティクス分野にとっても意味は大きいです。平坦な2D映像では掴みにくい奥行き感を低遅延で把握できるようになれば、遠隔作業の精度は確実に上がります。

ただし、この恩恵を享受するには相応のマルチカメラ配置とTensor Coreハードウェアが前提となります。コード公開後、一般的なネットワーク帯域でどこまで品質を保ったままストリーミングできるかが、普及への真の試金石になりそうです。