Stability AI、単一画像から3D生成できる「Stable Video 3D」公開

Stable Video 3D（SV3D）は、1 枚の静止画像から被写体の全方位動画や 3D メッシュを直接生成できるモデルです。Stability AI が自社の動画生成モデルをベースに開発し、従来の単一画像からの 3D 生成で課題だった視点の破綻や不整合を大幅に解消しています。

何ができるのか

被写体が写った 2D 画像を 1 枚入力するだけで、SV3D は見えていない角度の形状を推測し、周囲をぐるりと見渡す滑らかな軌道動画を出力します。

用途に合わせて 2 つのバリアントが用意されています。

SV3D_u は手軽に使える自動モデルです。カメラ設定などを指定することなく、1 枚の画像から自動的に標準的な軌道周回動画を生成します。

SV3D_p はカメラワークの制御に対応したモデルです。単一画像だけでなく周回視点にも対応し、ユーザーが指定したカメラパスに沿った 3D 動画をレンダリングできます。

さらに、生成された多視点映像をもとに NeRF や 3D メッシュを最適化し、実際の 3D 制作で扱えるポリゴンデータとして書き出すことも可能です。

なぜ一貫性が高いのか

従来の Stable Zero123 などは静止画拡散モデルを拡張していたため、角度を変えると物体の形状が崩れる問題が頻発していました。

SV3D は、動画拡散モデルである Stable Video Diffusion をベースに採用し、カメラパス条件付けを組み込みました。動画モデルが持つフレーム間の連続性を空間表現に応用することで、視点間の一貫性を劇的に高めています。

3D メッシュ生成時には、未観測の死角部分を補完するための masked SDS（スコア蒸留サンプリング）損失関数を新たに導入しました。

また、物体の形状やテクスチャと光照条件を分離して最適化するモデルを実装し、元画像に写っていた影や反射がテクスチャに直接焼き付いてしまう現象を防いでいます。公式比較では、Zero123-XL や EscherNet を上回る品質を記録しています。

入手方法とライセンス

非商用利用であれば、Hugging Face 上でモデルの重みと研究論文が無償公開されており、すぐにダウンロードして検証できます。

商用プロジェクトや製品への組み込みを目的とする場合は、Stability AI の会員プラン（Membership）への加入が必要です。

なぜ重要か

動画生成モデルの連続性を 3D 生成に応用したアプローチは非常に合理的で、単一画像からの 3D 化における視点のズレを根本から減らしています。ゲーム開発者やプロダクトデザイナーにとって、ラフなイラストから立体アセットのプロトタイプを即座に起こせる実用的な選択肢になります。

ただし、対象は主に単一のオブジェクトに最適化されており、背景を含んだ複雑なシーンの構築や、トポロジーが整理された完成アセットの出力にはまだ追加の手作業が必要です。