阿里公布 FashionChameleon:单卡 23.8 帧,视频生成中能实时交互换衣
阿里巴巴公布视频试衣框架 FashionChameleon。它允许在视频生成过程中实时交互式更换服装,单卡生成速度达 23.8 FPS,并能保持人物动作与外观连贯。最值得关注的是它仅靠单服装数据训练就实现了多套换装。目前代码与模型尚未正式开放。

如果电商主播在直播间里换衣服,能像按一下遥控器那样快,线上试衣的逻辑可能就要彻底改写了。
阿里巴巴公布了一项名为 FashionChameleon 的实时视频定制框架。简单来说,它就像一个直接嵌进视频流里的即时数字衣橱:只要给它一张人物模特图和几件衣服单品,就能在视频生成的同时,让用户实时点击切换服装,而画面里的模特步伐不会乱、动作不会断,也不存在传统视频生成那种明显的卡顿和等待。
边看边换,单卡跑出 23.8 帧
很多人对 AI 换装的印象还停留在静态图片上,一旦放到视频里,动作稍微大一点就容易崩坏,生成一条几秒钟的片段还得等上半天。
FashionChameleon 最大的突破就是快。在单张 H200 显卡上,它基于 WAN2.2 跑出了 720p 分辨率、每秒 23.8 帧的实时生成速度,几乎就是正常视频播放的帧率。研究团队公布的数据显示,这套方案比现有的基线模型快了 30 到 180 倍。
更难得的是连贯性。无论是整套衣服换掉,还是只换上衣或下装,人物在换装前后都不会出现抽搐或跳帧。模型不仅能认清衣服的版型和质感,还能一直做长视频外推,让人物在连续运动中自然过渡到下一套穿搭。
没用多套服装数据,全靠巧劲
要在连续视频里换衣服,最直觉的做法是用海量「同一个人在同一段视频里换多套衣服」的数据去训练。但现实中根本没有这么多高质量的配对数据。
阿里团队的解法很聪明,他们完全放弃了多服装训练数据,只用了最基础的单件服装视频。他们让教师模型通过上下文学习去理解服装和模特的对应关系,故意在参考图和目标服装之间制造不匹配,逼着模型自己学会如何在换衣服时保住动作连贯。
为了解决实时生成时的长视频画质崩溃和延迟问题,团队引入了流式蒸馏技术,配合梯度重加权的分布匹配蒸馏,把原本沉重的计算量压缩了下来。而在最关键的换装瞬间,他们设计了一套免训练的 KV Cache 重调度机制,包含衣服特征刷新、历史特征撤回和参考特征解耦。不用重新微调模型,就能在流式生成中随时塞入新衣服,直接把「边看边换」做成了现实。
目前阿里已经在项目页面挂出了 GitHub 链接,计划开源代码和模型权重,但截至目前尚未正式开放下载。
为什么重要
我们认为,FashionChameleon 展现的不仅是一项算法突破,而是视频生成从「离线渲染」走向「实时交互」的关键一步。
对电商和直播行业来说,它的想象空间非常直接。过去的虚拟试衣是静态看板,买家很难看出版型在走动、转身时的动态垂坠感;而现在的 FashionChameleon 已经具备了单卡实时运行的能力,这意味着未来的直播带货或者在线商城,完全可能做到消费者点一件、数字人模特就立刻穿上走两步。对于中小卖家和独立设计师,制作动态商品穿搭视频的成本也会被直接打下来。
对行业而言,它避开昂贵的数据采集路线、纯靠推理期缓存调度和蒸馏提速的做法,给多模态视频交互提供了一个很轻巧的工程范式。当然,我们也要看到限制:单卡跑满 23.8 FPS 依赖的是昂贵的高规格硬件,在普通消费级算力上能否稳定复现 720p 的流畅体验,依然需要打个问号。但无论如何,能让视频 AI 听懂即时指令并在几毫秒内接上动作,虚拟时尚离实用化显然又近了一大步。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org