Stability AI、単一動画から8視点映像を生成する「Stable Video 4D」公開

Stable Video 4D（SV4D）は、単一視点の動画から8つの異なるカメラアングルの動画を同時に生成できるオープンソースのAIモデルです。

生成されたマルチアングル映像は単に視聴するだけでなく、被写体の動的な3D表現（いわゆる4Dアセット）を20分から25分程度で最適化・構築するための素材としても活用できます。

何ができるのか

使い方はシンプルです。単一の被写体が映った動画をアップロードし、生成したい3Dカメラのポーズや角度を指定します。

SV4Dは1回の推論処理により、約40秒で8つの視点にわたる5フレームの動画を生成します。クリエイターは用途に合わせて自由にカメラアングルを調整可能です。

出力された8視点の映像をもとに、被写体の立体的な動きや形状を効率的に再構成できるため、ゲーム開発やVR空間向けのアセット制作を大幅にスピードアップできます。

仕組みと特徴

SV4Dは、画像から動画を作るStable Video Diffusionの技術を基盤にしており、Stability AIにとって初の本格的なVideo-to-Videoモデルとなります。

これまでの動的3D生成は、画像拡散モデル、動画拡散モデル、マルチビュー拡散モデルを組み合わせる手法が主流でした。しかしこの方法では、複雑なスコア蒸留サンプリング（SDS）が必要となり、視点間や時間軸での表示崩れが発生しやすいという課題がありました。

SV4Dは複数の新規視点動画を一度にまとめて生成するアプローチを採用しています。空間軸と時間軸の一致性を内部で保ちながら推論するため、煩雑なマルチモデルSDSを使わずに軽量な4D最適化が可能になりました。

一方で現状は研究段階のモデルであり、主に合成データセットで学習されています。背景が複雑な実写動画では破綻が生じやすい点や、単一オブジェクトが前提となっている点には注意が必要です。

モデルの重みと詳細な技術レポートは、すでにHugging Face上で公開されています。

なぜ重要か

ゲームエンジン向けのアセット制作やVFX、VRコンテンツを手掛けるクリエイターにとって、試す価値が十分にあるツールです。単一のクリップから立体表現の足がかりを半時間足らずで得られるメリットは小さくありません。

複数のモデルを無理に繋ぎ合わせる従来手法から脱却し、並列生成によって時間と空間の一致性を担保した設計は非常に筋が良いと感じられます。

現時点では5フレームという制限があり、商用制作にそのまま組み込む段階ではありませんが、オープンソースの動的3D生成基盤として今後の発展が期待できる一歩です。