跳到正文
IFAI

AI科研

新框架 CoInteract 亮相:只需两张图,生成不穿模的带货视频

首次发布 传播指数 36

研究人员公布视频生成框架 CoInteract,输入一张人物照和一张产品图即可生成带货视频。它引入双流协同生成架构,在处理像素的同时专门约束人手与物体的几何接触,解决了手部崩坏和穿模问题,让电商内容批量生成更逼真。

新框架 CoInteract 亮相:只需两张图,生成不穿模的带货视频
图:arxiv.org

想拍一段博主手拿新品展示的带货短视频,以前哪怕只是十几秒,也得找人、寄样机、搭光、对脚本、一条条重拍。

用现有 AI 生成视频虽然省事,但一碰到「拿东西」这种动作就原形毕露:手指要么多长了一根,要么直接穿透了瓶子,商品在手里忽大忽小,完全没法当作真正的广告来用。

研究人员公布了一项名为 CoInteract 的视频生成框架(部分技术社区也称为 Co-InAct),专门来解决这个顽疾。你只需要给它两张参考图:一张人物照、一张产品图,再加上文字提示词或者语音音频,它就能生成一段人物拿着该产品进行介绍的逼真视频。

让手指不再穿透商品

AI 生成人与物体互动(HOI)视频时,最头疼的就是两个毛病:一是手和脸等敏感部位结构容易变形,二就是手与物体之间没有物理接触约束,动不动就发生穿模或悬空。

CoInteract 搭建在 Diffusion Transformer(DiT)底座之上,用了两个很聪明的架构设计来打补丁。

第一个设计是空间监督的人体感知混合专家模型(Human-Aware MoE)。它会把画面中的 token 分发给轻量化、专门负责特定区域的专家模块。换句话说,手部和面部这种精细区域有专门的专家盯着,几乎不增加多少计算开销,就把细节结构保住了。

第二个关键创新是空间结构协同生成(Spatially-Structured Co-Generation),也就是双流协同训练。一条流专门跑常规的 RGB 像素外观,另一条流作为辅助,专门负责建模人与物体互动的几何结构关系。

在模型训练时,结构流会时刻对照像素流,约束共享的主干网络权重,教模型理解手到底是怎么抓住物体的。而在最终推理出片时,这条辅助结构流可以直接拿掉,做到零额外计算负担就能输出正常视频。

按步骤下指令,批量生成营销内容

除了物理逻辑站得住脚,CoInteract 在交互控制上也做得相当灵活。用户可以在提示词里按步骤拆解动作指令,模型会严格按照先后顺序生成连续的展示动作。

加上它同时支持文本与语音音频作为引导条件,人物在介绍产品时的口型和动作节奏也能更好地配合。

测试结果显示,比起现有的主流视频扩散模型,CoInteract 在结构稳定性、动作逻辑一致性以及互动真实感上都有显著提升。电商团队不必再忍受手指溶进杯子或盒子凭空漂浮的劣质画面。

为什么重要

对于中小电商卖家和内容创作者来说,这类工具如果落地成产品,做营销视频的成本会被直接打下来。以前雇带货网红、寄样品、拍开箱的高昂周期,未来可能只需要两张清晰的产品白底图和形象授权照,几分钟内就能批量跑出几十套不同风格的口播切片。

但在我们看来,这类技术也是一把双刃剑。最直观的冲击就是基层网红和腰部开箱博主,如果品牌方只要静态肖像权就能低成本量产视频,真人出镜的商业价值会被严重稀释。

技术层面上,CoInteract 的思路非常聪明。它没有硬堆参数去赌通用模型自己学会物理常识,而是用辅助结构流在训练阶段给模型立规矩,推理时又果断扔掉辅助分支保持轻量,这种工程取舍很值得同类研究借鉴。

不过,目前 CoInteract 还停留在学术论文阶段,尚未开放现成的网页服务或开源权重。对于普通创作者来说,要想真正用上无穿模的商品生成工具,还得等这套方案被整合进主流商业生成工具之后。

来源 (1)

  1. [1]

每日 AI 内容精选