Vanast 虚拟试穿新框架:一张照片换新衣服,直接生成连贯动画
虚拟试穿框架 Vanast 亮相。它只需输入一张人物照片、服装图片以及人体骨架姿态视频,就能一步重构出穿着新衣的人物动态视频。它能较好保留面部特征与体型,并支持上下装与连衣裙等多种款式。目前代码尚未正式开源。

网购衣服最怕什么?大概就是买家秀和卖家秀的落差。在 AI 领域,虚拟试穿其实火了很久,但如果想让静态的人穿上新衣服走两步,往往破绽百出。
研究人员公布了名为 Vanast 的全新虚拟试穿框架。它的操作逻辑很简单:你只需要给一张人物照片、衣服的图片,再加上一段人体骨架动作视频,它就能一步生成一段穿着这件新衣服的人物流畅运动视频。
告别两阶段拼接,换装和动效一步到位
在此之前,主流的虚拟试穿动画大多采用「两阶段」做法。也就是先把新衣服通过图像试穿模型贴在照片上,再交给另一个动作驱动模型把静图变成视频。
这种拼积木的方式问题很大。两道工序下来,人物往往走着走着脸就变了样,衣服边缘拉扯变形,一旦转身甚至还会出现前后反差穿帮。
Vanast 放弃了这种割裂的流程,改用单一框架端到端完成合成。为了让模型能学会复杂的换装动态,研究团队搭建了大规模的三元组监督训练数据,既覆盖了相同身份在不同服装下的形态,也涵盖了完整的上下装搭配及自然场景。
在架构上,Vanast 针对视频 Diffusion Transformer 引入了双模块(Dual Module)设计。这不仅稳住了生成画面的质感,也让模型在服饰细节对齐、动作跟随和身份保持上更准确,甚至还支持服装之间的零样本插值过渡。
上装下装连体裙通吃,但还得等代码
从展示的实际效果来看,Vanast 的表现相当干净。输入一张男士或女士的普通照片,换上一件新衬衫、一条裤子或裙子,人物在运动过程中的面部轮廓和体型比例几乎没有变形。
除了简单的单件上衣或裤装,它对整体连体连衣裙的处理也很自然,衣服的褶皱和摆动能够随着骨架动作协调变化。
不过需要提醒的是,目前该项目仅公开了论文,官方主页标注代码即将推出,普通开发者和创作者暂时还无法直接下载部署。
为什么重要
如果 Vanast 后续如约开源,受影响最大的无疑是电商与时尚内容制作领域。过去商家展示新款服装必须雇佣模特实拍或租用绿幕影棚,而这类端到端视频工具一旦成熟,只需白底商品图和一个标准的姿态模板,就能低成本批量生成商品展示视频。
从行业路线上看,这项研究给视频级虚拟试穿指明了一个关键趋势:传统的「换衣再动」两步走思路正在被端到端联合建模取代。跳过中间层的图像拼接,直接在视频潜在空间完成服装与动作的融合,是解决闪烁和形变的有效路径。
我们认为,Vanast 的技术切入点很聪明,通过高质量合成数据和针对性的 Diffusion Transformer 结构绕过了多模型串联的累积误差。但同时也要看到,这类技术目前依然严重依赖姿态骨架引导,并且论文展示与复杂的现实野生测试之间往往存在差距。等到代码正式开放后,它在极端大动作和复杂光影下的泛化能力,才是决定其实用价值的关键考验。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org