解读 NVIDIA GauGAN2:画笔涂鸦加文字,拼出逼真自然风景
NVIDIA 研究部门打造的 GauGAN2 支持将草图涂鸦与文字提示结合,生成逼真自然风景。它在 1000 万张风景图上训练,允许用分割图、画笔和橡皮擦精细调整山川河流。虽然操作界面略像复古画图工具,但很适合快速出分镜和概念草图。
大部分玩过 AI 画画的人,都有过对着输入框抓狂的经历:你只想把画面左边的山头往右移两公分,但在提示词里打上一百个字,AI 也会任性地把整张画彻底重画一遍。
NVIDIA 研究部门做出来的 GauGAN2,试着走了一条完全不同的路。它把文字生成和实时涂鸦揉在了一起,让你在网页浏览器里像用老式画图软件一样捏自然风景。
这个名字其实是个谐音梗,既致敬了法国后印象派画家保罗·高更(Paul Gauguin),也代表了底层的生成对抗网络(GAN)技术。在它背后,NVIDIA 动用了自家全球顶尖的超级计算机 Selene,给模型喂了整整 1000 万张高质量的自然风景照片。
像用 Windows 画图一样控图
你可以像用 DALL-E 2 那样,直接在文本框里输入「荒漠上的落日」,AI 就会生成一张风景照片。但 GauGAN2 真正好玩的地方在于接下来的微调。
它的界面里直接提供了一张语义分割图。简单来说,系统预设了雾气、山丘、岩石、雪地、水面等一系列标签。
你挑一个「水」的笔刷在画布下方划一笔,那里就会实时变成湖泊;用铅笔工具随手画个圆圈,画面上方就升起一轮落日;信手勾出两个起伏的折线,它就变成了远处的连绵雪山。
如果你觉得在网页里玩不过瘾,NVIDIA 还把这套底模搬到了桌面端,做成了一款面向创作者的免费应用 Canvas。不过有个硬性门槛:你的电脑里必须插着一张自家的 RTX 系列显卡。
粗糙的画笔与容易崩坏的超现实
虽然背后有超算背书,但实际用起来,这个网页 Demo 算不上有多精致。
它的操作界面相当简陋甚至复古,让人一瞬间梦回几十年前的早期微软画图工具。新用户点进去如果不先看右上角的视频教程,很容易不知道该从哪里下手。
更让人哭笑不得的是它的失控阈值。既然允许人工涂抹,一旦你的手抖了一下或者多画了几笔,原本写实的自然风光就会立刻崩塌成难以名状的超现实怪画。
测试中如果输入一些语意不明的词,甚至只是简单要一座雪山,系统都有可能把积雪渲染成某种酷似动物皮毛的诡异质感。它能在写实风景和抽象灾难之间反复横跳。
为什么重要
在很多 AI 生图工具还在让用户当「抽卡大师」的时候,GauGAN2 提供了一个更符合直觉的创作范式:人类定框架,AI 填材质。
对于影视故事板画师或者游戏概念设计师来说,哪怕它现在还只是个粗糙的网页原型,也已经具备了实用价值。创作者不用从零构思场景光影,只要几笔草图勾出构图,就能在几秒钟内拿到不同天气和地形的氛围图,这对前期头脑风暴来说极为省时。
我们认为,NVIDIA 这一步走得相当狡黠。它没有去卷大而全的通用插画,而是切中自己擅长的写实渲染,用语义分割标签把「不可控的 AI」塞进了一套确定性的空间坐标里。
但它的短板同样肉眼可见。GAN 模型对于边缘语义的容错率很低,只要草图结构稍微偏离自然规律,画面就会迅速沦为精神污染。要想从极客玩具真正走向工业化生产,NVIDIA 还需要把它的容错率和交互体验打磨得更现代才行。
来源 (1)
- makeuseof.com(在新标签页打开)原文makeuseof.com