Nvidia、Blenderの3D構図から画像を生成するAIワークフローを公開

AIで画像を生成しようとして、プロンプトの微調整に何時間も費やした経験がある人は多いはずです。「車を左側の道路に置き、カメラを少し見上げる角度で」と指定しても、AIが勝手に俯瞰構図に描き変えてしまう現象です。

Nvidiaは4月30日、こうした構図のブレを解消する新ツール「3D-guided generative AI 向け Nvidia AI Blueprint」を公開しました。3D空間であらかじめ構図を組んでからAIに描かせるというアプローチです。

今年のCESで予告されていたワークフローで、本日からダウンロードできます。ただし利用には、GeForce RTX 4080以上のGPUを搭載したPCが必要です。

ラフな3Dモデルを構図の下敷きにする

今回のツールは、オープンソースの3D制作ソフトBlenderと、Black Forest Labsの画像生成モデルFLUX.1-devを接続する仕組みです。これまで構図固定によく使われていたControlNetは設定が煩雑でしたが、Nvidiaはこれを実用的なパイプラインとして整えました。

ユーザーはBlender上で、ビルや車、木といった大まかな3Dオブジェクトを配置し、カメラアングルを決めます。出力されるのは深度マップ（デプスマップ）なので、3Dオブジェクトに細かな質感やテクスチャを貼り込む必要はありません。

この深度情報が白黒画像としてFLUX.1-devに渡され、テキストプロンプトと合わさることで、狙い通りのアングルと配置を持った高精細な2D画像が生成されます。

裏側ではComfyUIが各処理を中継し、NvidiaのNIMマイクロサービスがモデルを実行しています。さらにTensorRTによる最適化が施されており、BlackwellアーキテクチャではFP4量子化によってPyTorch FP16比で2倍以上の推論速度と半分以下のVRAM消費を実現します。Ada Lovelace世代向けにはFP8版が提供されます。

同様の構想としては、Adobeが昨年10月のMAXイベントで「Project Concept」を披露していましたが、あちらはまだ実験段階にとどまっています。

なぜ重要か

プロのクリエイターにとって最大の課題だった「再現性の低さ」を、3Dという確定的な情報で解決しにきた点は高く評価できます。言葉だけでミリ単位の構図やパースを伝えるのは無理がありますが、3D空間でカメラを置く作業なら数秒で終わります。

ゲームのコンセプトアートや絵コンテ制作を手がける人にとっては、今すぐ試す価値があるワークフローと言えます。同じ舞台でカメラの角度だけを変えた連番画像を生成したい場合にも、格段にストレスが減るはずです。

一方で、RTX 4080以上というハードウェア制限は非常に厳しい壁です。一般的なノートPCやミドルレンジ環境のユーザーを完全に切り捨てており、NvidiaによるハイエンドGPU販売促進の側面が色濃く出ているのも事実です。

それでも業界全体で見れば、単なるテキストからの「ガチャ」生成から、既存の制作現場の道具と組み合わせる実用フェーズへシフトしたことを示す象徴的な動きと言えます。