Stability AIが「SV4D 2.0」公開、単一動画から4Dアセット生成

Stable Video 4D 2.0（SV4D 2.0）は、手元にある単一アングルの動画から、空間内を自由に見渡せる動的な4Dアセットを直接生成できるツールだ。

Stability AIは2025年5月20日、このアップグレード版マルチビュー動画拡散モデルを公開した。従来必要だったマルチカメラ環境や事前準備用の参照画像が不要になり、対象物が中心に映った通常の動画1本から、一貫した複数視点映像と新規視点合成が行える。

何ができるか

動いている被写体の見えない角度を破綻なく補完することは、3D生成における最大の難関の一つだった。SV4D 2.0は、プロの制作ワークフローへ即座に組み込めるレベルの実用性を目指している。

例えばゲーム開発では、単一の動き動画からキャラクターのマルチアングルなスプライトシートを自動生成できる。映画制作や仮想空間の構築においても、動的な背景小道具や補助アセットを手作業のモデリングなしで素早く調達可能だ。

ベンチマークでも明確な進化を示している。画像の忠実度を測るLPIPS、視点間の一貫性を示すFVD-V、時間的な滑らかさを表すFVD-F、そして総合的なFV4Dのすべてにおいて、DreamGaussian4DやL4GM、前世代のSV4Dを上回り首位を獲得した。新規視点合成タスクでもDiffusion^2やSV3Dを凌駕する鮮明さを確認できる。

仕組みと現在の課題

動的な一貫性を保つため、モデルは段階的な学習プロセスを採用している。まず静的な3Dアセットで立体的な幾何構造を学習させた後、時間軸の動きを追加することで、形状が崩れにくい土台を作った。

さらに、3D空間特徴と時間特徴を直接融合する「3Dアテンション機構」をネットワーク構造に組み込んだ。これにより、追加の参照視点を与えなくても、時間と空間の両面からつじつまを合わせることが可能になっている。

合成データで学習されつつも、ベースとなる動画モデルの事前知識を活かして現実世界の動画にも適応する。ただし、被写体が激しく素早く動く場面では、依然としてアーティファクトやテクスチャの乱れが発生する場合があると公式に言及されている。

なぜ重要か

これまで動的な4Dキャプチャといえば、高価な多眼カメラアレイや複雑なNeRFのセットアップが必須であり、小規模スタジオには手の届かない領域だった。SV4D 2.0は、その要件を「スマホなどで撮った単一動画」にまで一気に引き下げた。

モデルの重みはHugging Face、コードはGitHub、詳細な再構築プロセスの論文はarXivで公開されており、Stability AI Community Licenseのもとで商用利用も認められている。インディーゲーム開発者や3Dのプロトタイプを素早く回したいクリエイターは、手元の素材ですぐに試す価値がある。