跳到正文
IFAI

AI科研

AI 新研究 DragGAN 亮相:滑鼠點選拖拽,幾秒內重構畫面

首次發布 傳播指數 34

研究人員公佈影像操控工具 DragGAN。使用者只需在圖片上設定控制點並拖拽,AI 就能在幾秒內重新生成內容,甚至支援 3D 旋轉和補全遮擋細節。這意味著精準控制生成影像不再全靠抽卡提示詞,不過該技術目前仍處於論文演示階段。

AI 新研究 DragGAN 亮相:滑鼠點選拖拽,幾秒內重構畫面
圖:theverge.com

如果你平時修過圖,大概對影像軟體裡的「變形」或「液化」工具很熟悉:滑鼠一點一拉,畫素跟著拉伸,拉猛了畫面就糊成一團怪影。

現在一項名為 DragGAN 的新 AI 研究,把這種互動邏輯徹底翻新了。它看起來也是點住一個點拖拽,但底層不是拉扯已有畫素,而是直接利用 AI 重新生成你想要的內容。

像拽 3D 模型一樣改圖

這項發表在 arXiv 上的研究剛一亮相,就因為在社交平臺上的轉發而迅速出圈,研究團隊的主頁甚至一度被湧入的流量擠到崩潰。

從展示的演示來看,使用者只需要在畫面上定幾個點,滑鼠輕輕一拖,幾秒內就能改好細節。

比如你可以隨手改動一輛汽車的長寬比例,或者把一個人的微笑直接拖成皺眉。更驚豔的是,它能像操作 3D 模型一樣旋轉畫面主體,比如直接改變人臉或動物面對的方向。

在另一個演示裡,使用者隨意拉動幾下,就能調整山脈的高度,甚至連湖水裡的倒影也會跟著一起即時調整。

研究團隊指出,這個模型不僅能理解物體的結構剛性(比如馬腿該怎麼自然彎曲),還能自動補全原本被遮擋的內容。比如當你把獅子的嘴拽大時,模型會自動生成藏在嘴裡的牙齒。

提示詞解決不了的控制力

用過 AI 畫圖的人都有體會:告訴 AI「畫一隻在草原上的獅子」很容易,但想讓它把頭稍微往左偏一點、嘴巴微張,就得寫一大串提示詞反覆抽卡,往往還調不對。

DragGAN 解決的正是這個互動痛點。團隊本身也提到,這項工作最核心的突破其實在互動介面上。

它給複雜的內容生成套上了一個大家早就用習慣的操作方式:指哪打哪,拖到哪裡算哪裡。

不過目前這還只是一篇論文和幾個低解析度的演示影片,真正的影像精細度和生成效果到底有多穩定,暫時還很難全面驗證。

為什麼重要

我們認為,DragGAN 之所以能引發這麼大反響,是因為它戳中了目前生成式 AI 最尷尬的軟肋:缺乏精準控制力。

對設計師和創作者來說,反覆改提示詞抽卡極其折磨人。如果未來這種互動能落地到日常工具裡,大家修圖時就再也不用去跟文本提示詞較勁,直接上手推拉即可微調。

從行業角度看,這項研究看起來會倒逼主流影像處理軟體加快跟進。單純靠文本框生成影像的時代可能很快就會過去,誰能先把直觀的微調工具做進工作流,誰才能真正留住專業創作者。

它的聰明之處在於完全順應了傳統修圖工具的操作直覺,沒有給使用者增加學習門檻。不過隱患也很明顯,目前基於 GAN 的技術路線在通用性和複雜場景泛化上常常受限,它能否順利融入如今主流的擴散模型並支援商用高解析度輸出,還需要持續觀察。

來源 (1)

  1. [1]
    theverge.com(在新分頁開啟)原文theverge.com

每日 AI 內容精選