跳到正文
IFAI

AI科研

AI 新研究 DragGAN 亮相:鼠标点选拖拽,几秒内重构画面

首次发布 传播指数 34

研究人员公布图像操控工具 DragGAN。用户只需在图片上设置控制点并拖拽,AI 就能在几秒内重新生成内容,甚至支持 3D 旋转和补全遮挡细节。这意味着精准控制生成图像不再全靠抽卡提示词,不过该技术目前仍处于论文演示阶段。

AI 新研究 DragGAN 亮相:鼠标点选拖拽,几秒内重构画面
图:theverge.com

如果你平时修过图,大概对图像软件里的「变形」或「液化」工具很熟悉:鼠标一点一拉,像素跟着拉伸,拉猛了画面就糊成一团怪影。

现在一项名为 DragGAN 的新 AI 研究,把这种交互逻辑彻底翻新了。它看起来也是点住一个点拖拽,但底层不是拉扯已有像素,而是直接利用 AI 重新生成你想要的内容。

像拽 3D 模型一样改图

这项发表在 arXiv 上的研究刚一亮相,就因为在社交平台上的转发而迅速出圈,研究团队的主页甚至一度被涌入的流量挤到崩溃。

从展示的演示来看,用户只需要在画面上定几个点,鼠标轻轻一拖,几秒内就能改好细节。

比如你可以随手改动一辆汽车的长宽比例,或者把一个人的微笑直接拖成皱眉。更惊艳的是,它能像操作 3D 模型一样旋转画面主体,比如直接改变人脸或动物面对的方向。

在另一个演示里,用户随意拉动几下,就能调整山脉的高度,甚至连湖水里的倒影也会跟着一起实时调整。

研究团队指出,这个模型不仅能理解物体的结构刚性(比如马腿该怎么自然弯曲),还能自动补全原本被遮挡的内容。比如当你把狮子的嘴拽大时,模型会自动生成藏在嘴里的牙齿。

提示词解决不了的控制力

用过 AI 画图的人都有体会:告诉 AI「画一只在草原上的狮子」很容易,但想让它把头稍微往左偏一点、嘴巴微张,就得写一大串提示词反复抽卡,往往还调不对。

DragGAN 解决的正是这个交互痛点。团队本身也提到,这项工作最核心的突破其实在交互界面上。

它给复杂的内容生成套上了一个大家早就用习惯的操作方式:指哪打哪,拖到哪里算哪里。

不过目前这还只是一篇论文和几个低分辨率的演示视频,真正的图像精细度和生成效果到底有多稳定,暂时还很难全面验证。

为什么重要

我们认为,DragGAN 之所以能引发这么大反响,是因为它戳中了目前生成式 AI 最尴尬的软肋:缺乏精准控制力。

对设计师和创作者来说,反复改提示词抽卡极其折磨人。如果未来这种交互能落地到日常工具里,大家修图时就再也不用去跟文本提示词较劲,直接上手推拉即可微调。

从行业角度看,这项研究看起来会倒逼主流图像处理软件加快跟进。单纯靠文本框生成图像的时代可能很快就会过去,谁能先把直观的微调工具做进工作流,谁才能真正留住专业创作者。

它的聪明之处在于完全顺应了传统修图工具的操作直觉,没有给用户增加学习门槛。不过隐患也很明显,目前基于 GAN 的技术路线在通用性和复杂场景泛化上常常受限,它能否顺利融入如今主流的扩散模型并支持商用高分辨率输出,还需要持续观察。

来源 (1)

  1. [1]
    theverge.com(在新标签页打开)原文theverge.com

每日 AI 内容精选