Stability AI、単一画像から1秒未満で3D化する「SPAR3D」公開

SPAR3D（Stable Point Aware 3D）は、1枚の2D画像からわずか0.7秒で完全な3Dメッシュを生成できるオープンソースモデルです。点群のリアルタイム編集にも対応しており、編集内容はわずか0.3秒で再メッシュ化されます。

Stability AIがCESにてNVIDIAとの提携を通じて発表したモデルで、ゲーム開発やプロダクトデザイン、背景制作におけるプロトタイピングの効率化を狙っています。

何ができるのか

従来の画像から3Dへの変換技術は生成に時間がかかり、物体の背面など見えない部分の破綻が課題でした。SPAR3Dは完全な構造予測を備えており、隠れた背面を含めた360度全体の形状を破綻なく生成します。

さらに強力なのが点群レベルでの直接編集です。生成された点群の削除や複製、引き伸ばし、要素の追加、色の塗り替えなどを手動で行えます。手を加えた点群は、0.3秒で滑らかに新しいメッシュへと変換されます。

仕組み

SPAR3Dは、回帰ベースの高精度なモデリングと生成AIの柔軟性を組み合わせた2段階のアーキテクチャを採用しています。

第1段階では、専用の点拡散モデル（point diffusion model）が入力画像から物体の基本構造を表す詳細な点群を生成します。

第2段階では、トライプレーン・トランスフォーマー（triplane transformer）が点群と元画像の視覚的特徴を統合処理します。高解像度のトライプレーンデータを構築することで、元画像の形状、テクスチャ、陰影を正確に反映した最終メッシュを出力します。

動かし方とライセンス

SPAR3DはNVIDIA RTX AI PCでのローカル実行に最適化されています。

モデルの重みはHugging Faceからダウンロード可能で、推論コードはGitHubに公開されています。また、Stability AIのDeveloper Platform API経由でも利用できます。

ライセンスはStability AI Community Licenseが適用され、個人利用および年間売上100万ドル未満の組織による商用利用は無料です。

なぜ重要か

生成速度が1秒を切っただけでなく、出力された点群を手動で微調整できる点が画期的です。やり直しが効かないブラックボックスな3D生成から、クリエイターが手作業で手綱を握れるワークフローへと進化しています。

1枚の画像から推測している以上、ゲームの最終アセット級の精緻なテクスチャをそのまま得ることは難しいものの、構想段階のラフ作成やプロトタイピングの速度は劇的に上がります。RTX環境があるなら、今すぐ試す価値があります。