跳到正文
IFAI

AI工具

解讀 NVIDIA GauGAN2:畫筆塗鴉加文字,拼出逼真自然風景

首次發布 傳播指數 33

NVIDIA 研究部門打造的 GauGAN2 支援將草圖塗鴉與文字提示結合,生成逼真自然風景。它在 1000 萬張風景圖上訓練,允許用分割圖、畫筆和橡皮擦精細調整山川河流。雖然操作介面略像復古畫圖工具,但很適合快速出分鏡和概念草圖。

大部分玩過 AI 畫畫的人,都有過對著輸入框抓狂的經歷:你只想把畫面左邊的山頭往右移兩公分,但在提示詞裡打上一百個字,AI 也會任性地把整張畫徹底重畫一遍。

NVIDIA 研究部門做出來的 GauGAN2,試著走了一條完全不同的路。它把文字生成和即時塗鴉揉在了一起,讓你在網頁瀏覽器裡像用老式畫圖軟體一樣捏自然風景。

這個名字其實是個諧音梗,既致敬了法國後印象派畫家保羅·高更(Paul Gauguin),也代表了底層的生成對抗網路(GAN)技術。在它背後,NVIDIA 動用了自家全球頂尖的超級計算機 Selene,給模型餵了整整 1000 萬張高質量的自然風景照片。

像用 Windows 畫圖一樣控圖

你可以像用 DALL-E 2 那樣,直接在文本框裡輸入「荒漠上的落日」,AI 就會生成一張風景照片。但 GauGAN2 真正好玩的地方在於接下來的微調。

它的介面裡直接提供了一張語義分割圖。簡單來說,系統預設了霧氣、山丘、岩石、雪地、水面等一系列標籤。

你挑一個「水」的筆刷在畫布下方劃一筆,那裡就會即時變成湖泊;用鉛筆工具隨手畫個圓圈,畫面上方就升起一輪落日;信手勾出兩個起伏的折線,它就變成了遠處的連綿雪山。

如果你覺得在網頁裡玩不過癮,NVIDIA 還把這套底模搬到了桌面端,做成了一款面向創作者的免費應用 Canvas。不過有個硬性門檻:你的電腦裡必須插著一張自家的 RTX 系列顯示卡。

粗糙的畫筆與容易崩壞的超現實

雖然背後有超算背書,但實際用起來,這個網頁 Demo 算不上有多精緻。

它的操作介面相當簡陋甚至復古,讓人一瞬間夢迴幾十年前的早期微軟畫圖工具。新使用者點進去如果不先看右上角的影片教程,很容易不知道該從哪裡下手。

更讓人哭笑不得的是它的失控閾值。既然允許人工塗抹,一旦你的手抖了一下或者多畫了幾筆,原本寫實的自然風光就會立刻崩塌成難以名狀的超現實怪畫。

測試中如果輸入一些語意不明的詞,甚至只是簡單要一座雪山,系統都有可能把積雪渲染成某種酷似動物皮毛的詭異質感。它能在寫實風景和抽象災難之間反覆橫跳。

為什麼重要

在很多 AI 生圖工具還在讓使用者當「抽卡大師」的時候,GauGAN2 提供了一個更符合直覺的創作範式:人類定框架,AI 填材質。

對於影視故事板畫師或者遊戲概念設計師來說,哪怕它現在還只是個粗糙的網頁原型,也已經具備了實用價值。創作者不用從零構思場景光影,只要幾筆草圖勾出構圖,就能在幾秒鐘內拿到不同天氣和地形的氛圍圖,這對前期頭腦風暴來說極為省時。

我們認為,NVIDIA 這一步走得相當狡黠。它沒有去卷大而全的通用插畫,而是切中自己擅長的寫實渲染,用語義分割標籤把「不可控的 AI」塞進了一套確定性的空間座標裡。

但它的短板同樣肉眼可見。GAN 模型對於邊緣語義的容錯率很低,只要草圖結構稍微偏離自然規律,畫面就會迅速淪為精神汙染。要想從極客玩具真正走向工業化生產,NVIDIA 還需要把它的容錯率和互動體驗打磨得更現代才行。

來源 (1)

  1. [1]
    makeuseof.com(在新分頁開啟)原文makeuseof.com

每日 AI 內容精選