NVIDIAの「GauGAN2」とは：落書きと文字でリアルな風景を生成

テキストプロンプトだけで風景画像を生成しようとして、思い通りの構図にならず頭を抱えた経験は誰にでもあるはずです。左端の山を少し削りたいだけなのに、文言を変えた瞬間、まったく別の画像が出力されてしまうのが従来の悩みでした。

NVIDIA の研究部門が公開した GauGAN2 は、この問題に対してテキストとスケッチを融合させるという別のアプローチを持ち込んでいます。Web ブラウザ上で動作するこのデモは、生成敵対的ネットワーク（GAN）をベースにしており、名称も後期印象派の画家ポール・ゴーギャンと GAN を掛け合わせたものです。同社のスーパーコンピュータ「Selene」を用い、1000 万枚もの高品質な自然風景画像で学習されています。

ペイント感覚で風景を捏ねる

基本的な使い方は既存の画像生成 AI と似ており、「砂漠に沈む夕日」といったフレーズを入力すれば、一通りの写実的な風景が生成されます。しかし本番はそこからの微調整です。

GauGAN2 にはセグメンテーションマップと呼ばれる領域指定機能が備わっています。画面には霧、丘、岩、雪、水といったラベルが用意されており、ブラシやペンツールを使ってキャンバスに直接描き込むことができます。

空に丸を描けばそれが太陽として描画され、奥にギザギザの山並みをペンで足せば、AI が即座に本物の山岳地帯へと質感を描き換えます。なお、NVIDIA は同様の技術をクリエイター向けデスクトップアプリ「NVIDIA Canvas」としても提供していますが、そちらを使うには同社の RTX シリーズ GPU が必須となります。

レトロな画面と紙一重の破綻

超高性能なインフラで学習されたモデルではあるものの、提供されている Web デモの見た目は驚くほど無骨です。初期のマイクロソフト・ペイントを思わせるレトロなインターフェースで、右上のチュートリアル動画を見なければ操作に迷う人も多いはずです。

さらに、描画のコントロールには独特のシビアさがあります。スケッチの線が少し乱れたり、プロンプトの解釈が食い違ったりすると、途端に不気味なシュルレアリスム作品のような画像に変貌します。

山岳風景を生成しようとした際に、雪の質感がなぜか動物の毛皮と混ざり合ったような奇妙なテクスチャが出力されるなど、写実と崩壊の境界線はかなり危うい印象を受けます。

なぜ重要か

プロンプト頼みの「ガチャ」が主流になりつつある画像生成において、GauGAN2 は手描きの構図指定という直感的なコントロールの価値を改めて示しています。

ゲームのコンセプトアートや映像の絵コンテ制作など、短時間で複数パターンの背景案を固めたい現場にとっては、大まかな地形を描くだけで写実的な光景に変換できる仕組みは大きな時短につながるはずです。

テキストだけに頼らず、セグメンテーションによる領域指定を組み合わせた点は非常に理にかなっています。構図の決定権を人間が握り、質感の描画だけを AI に任せる分担が成立しているからです。

一方で、GAN 特有の脆さも残っています。学習データの想定から外れた筆遣いをした途端に画面が崩壊してしまう点や、お世辞にも使い勝手が良いとは言えない操作体系を考えると、現時点では本格的な制作ツールというより将来のワークフローを先取りした技術実証にとどまっていると見るのが自然です。