Stable Diffusion 2.0公開：MiDaS深度推定による「depth2img」を搭載

「Stable Diffusion 2.0」が正式公開された。今回の目玉となる新機能が「depth2img」だ。従来の画像変換で頻発していた幾何学的な崩れを防ぎ、深度マップを手がかりにして被写体の3D空間構造を維持したまま画像を再生成できる。

これまでのimg2imgワークフローでは、入力された画像ピクセルとテキストプロンプトの情報だけに頼っていたため、パラメータを少し調整するだけで元の輪郭やパースが大きく崩れてしまう問題があった。

深度マップの仕組み

この構造崩れを解決するため、Stable Diffusion 2.0にはIntelとチューリッヒ工科大学（ETH Zurich）の研究チームが開発した単眼深度推定モデル「MiDaS」が組み込まれた。特殊なセンサーを使わず、通常の2D画像1枚から被写体の奥行き情報を割り出すことができる。

スマートフォンのポートレート撮影で背景をぼかしたり、顔の輪郭に沿ってライティングを調整したりする仕組みに近い。

生成プロセスに深度マップを組み合わせることで、AIは空間内の位置関係を把握した上で、質感や光の当たり方、テクスチャだけを差し替えることが可能になる。

グレイボックスから広がる制作ワークフロー

この仕組みは、3DアーティストやVFX制作者の作業効率を大きく変える可能性を秘めている。細かなモデリングを詰めなくても、シンプルな直方体などで構図を決めた「グレイボックス」シーンを用意すれば、depth2imgを通じて無数の質感や照明バリエーションを一瞬で検討できる。

3Dソフトはもともと空間座標を持っているため、今後Blenderなどのプラグインが登場すれば、推定に頼らず正確なZ深度パスを直接連携できるようになるはずだ。

コミュニティクリエイターのCoffeeVectors氏は、汎用的な3Dキャラクターの歩行アニメーションをdepth2imgに通し、リアルな髪の質感や光沢を持つ写実的なルックへと引き上げる検証を行っている。フレーム間のちらつきは残るものの、アニメーション制作での実用性に期待が持てる仕上がりだ。

さらにフォトグラメトリやLiDARスキャン、NeRFといった実空間データと深度情報を組み合わせる実験にも道が開かれている。

なぜ重要か

3Dクリエイターやコンセプトアーティストにとって、depth2imgはすぐにでも制作パイプラインに組み込む価値のあるツールだ。出たとこ勝負になりがちだった画像生成AIを、構図をコントロールできる実用的な道具へと前進させた。

モデルの規模を拡大するだけでなく、深度情報という幾何学的な制約を与えたアプローチは非常に合理的だと考えられる。動画生成時のフレームの一貫性や、単眼推定の境界精度にはまだ課題が残るものの、3D空間と生成AIを結ぶ架け橋として大きな一歩であることは間違いない。