Stability AI、単一画像から3Dを生成する「Stable Zero123」を公開

Stable Zero123は、たった1枚の2D画像から物体の別アングル画像を生成し、最終的に立体的な3Dメッシュへと再構築できるモデルだ。

手元に1枚のイラストや写真があれば、裏側や斜め上から見た姿を自然に補完して3Dアセットを作れる。

何ができるのか、どう動くのか

従来のZero123-XLと比べ、Stable Zero123は形状の破綻が少なく、生成クオリティが大きく向上している。

進化の理由は主に3つある。

1つ目は学習データの大幅な厳選だ。オープンな3Dデータセット「Objaverse」から低品質なものを徹底的に除外し、従来よりリアルなレンダリング手法を用いて学習させた。

2つ目はカメラの仰角情報の導入だ。学習時と推論時の両方でカメラの角度情報を与えることで、モデルがあらぬ方向に視点を歪めてしまうのを防いでいる。

3つ目は学習プロセスの高速化だ。潜在変数の事前計算とデータローダーの改善によりバッチサイズを拡大し、Zero123-XL比で40倍の学習効率を実現した。

実用面では、SDXLで生成した画像をそのままStable Zero123に入力し、テキストから一気に3Dアセットを出力するワークフローも組める。

動作環境とライセンス

Stable Zero123のベースはStable Diffusion 1.5だ。

別アングル画像を1枚生成するだけなら、SD1.5と同じVRAM消費量で済むため、一般的なGPUでも手軽に試せる。

ただし、本格的な3Dモデルを再構築するとなると話は別だ。オープンソースのthreestudioを使い、スコア蒸留サンプリング（SDS）でNeRFを最適化してメッシュを抽出する工程には、推奨24GBのVRAMが求められる。

重みはHugging Faceで公開されており、ライセンスは2種類用意されている。

非商用・研究用の「Stable Zero123」は一部CC-BY-NCデータを含むため商用利用は不可だが、誰でも自由に試せる。

商用向けの「Stable Zero123C」はCC-BYおよびCC0データのみで学習されており、Stability AIの会員プランに加入することで商用利用が認められる。社内テストによれば、両者の生成精度はほぼ同等だという。

なぜ重要か

1枚の画像から整合性のとれた3Dモデルを起こす作業は、これまでゲーム開発やCG制作における大きなボトルネックだった。データ選別とカメラ制御の工夫だけでここまで精度が引き上げられることを示した意義は大きい。

メッシュ化まで行うには24GB VRAMが必要でライト層にはハードルが高いものの、十分なGPUを持つクリエイターやインディー開発者なら、今すぐ制作パイプラインに組み込んでみる価値がある。