Wan-S2V 视频模型亮相:单张照片配音频,生成电影质感动态视频
2025 年,研究团队公布 Wan-S2V 模型,只需输入单张静态照片和音频,就能生成口型同步、带有自然表情与身体动作的动态视频。评测显示 Wan2.2-S2V-14B 在画面质量与身份一致性等核心指标上表现突出,支持全身生成与电影级叙事场景。

以前让一张静态照片开口说话,效果往往像会动的剪纸贴画,脖子僵硬,五官乱飞。
研究团队最近公布了 Wan-S2V,全称是音频驱动的电影级视频生成模型。只要给它一张静态人物图和一段音频,它就能生成音画同步的高清动态视频。
这套模型不仅能搞定对白,连唱歌和专业表演也能模拟出来,支持全身和半身人物构图。
给一张图和一段音频,AI 开始「飙戏」
大多数会说话的数字人工具,镜头基本上都焊死在角色胸口以上,稍微动一下就会露馅。
Wan-S2V 针对的是影视场景。它除了能对上口型,还能顺带生成自然的肢体动作和面部微表情,甚至还能加入专业的镜头运镜。
更有意思的是,模型支持指令控制。你可以用提示词指定角色动作和环境变化,让生成的画面更契合具体的情节氛围。
拆解 14B 参数和数百万人类视频的组合拳
为了让动作和表情不走形,团队在数据上花了不少心思。
他们从 OpenHumanVid 和 Koala36M 这类超大数据集里自动过滤,再配合人工筛选,专门挑出说话、唱歌、跳舞等高质量片段,攒起了一个数百万级别的以人物为核心的专属数据集。
测试使用的是 Wan2.2-S2V-14B 模型。
在基准测试中,Wan2.2-S2V 的 FID 分数压到了 15.66,PSNR 达到 20.49,SSIM 达到 0.734,在同类模型里拿到了更优的画面画质。
更关键的是身份一致性指标 CSIM 达到了 0.677,明显高于同台竞技的 EMO2、MimicMotion 和 Hunyuan-Avatar。
在表现嘴型同步的 Sync-C 上,它拿到了 4.51 分,虽然略逊于 Hunyuan-Avatar 的 4.71 分和 EMO2 的 4.58 分,但综合表情真实度 EFID 依然排在前列。
为什么重要
在音频驱动视频这个细分领域,很多产品都在死磕短视频播报,把重点全放在对嘴型上。
Wan-S2V 聪明的地方在于,它一开始就瞄准了影视剧情。对创作者来说,这意味着概念短片、过场动画甚至是音乐 MV,都能用一张概念设定图配上人声小样直接跑出动态分镜。
它的身份一致性指标拔得很高,这对讲故事至关重要,毕竟角色一说话就变脸在影视叙事里是完全无法容忍的。
但从公布的数据来看,我们认为它在极致的口型同步上还有微小的追赶空间,Sync-C 并没有拿下第一。
同时,全身大幅度运动与音频节奏的深度绑定,在复杂物理互动下会不会出现崩坏,仍然需要看开源社区的大规模实测。
如果未来这个 14B 参数的模型能够顺利落地,影视前期的动态故事板和虚拟角色制作门槛,看起来会被进一步拉低。
来源 (1)
- humanaigc.github.io(在新标签页打开)原文humanaigc.github.io