Wan-Streamer v0.2 发布:实时视频交互分辨率翻倍,延迟仍为 200ms
研究团队发布 Wan-Streamer v0.2,将端到端音视频交互模型的分辨率从 192x336 提升至 640x368,同时保持 25 FPS 下约 200 毫秒的模型延迟。它通过单卡感知加多卡并行的架构,让中景虚拟形象的手势和周围环境在实时对话中保持清晰。

视频通话里对面坐着一个 AI 虚拟人,你叹一口气,它立刻能察觉到你很累;你让它看镜头,它能一秒报出你穿粉色衣服、戴着黑框眼镜。更关键的是,它不再是一张模糊的大头贴,而是能看清全身动作和周围房间环境的中景画面。
研究团队公布了 Wan-Streamer v0.2 的技术论文与演示。作为原生流式、端到端音视频交互模型的最新升级,它在完全不增加交互延迟的前提下,把实时视频画质拉高了一大截。
画质翻倍,但反应时间一毫秒没多
在之前的 v0.1 版本里,Wan-Streamer 只能做到 192×336 的超低分辨率,画面基本局限在近景大头照,动作稍微大一点就糊成一片。
这次 v0.2 直接把分辨率推到了 640×368,帧率依旧保持在 25 fps。更难得的是,模型侧的处理延迟依然卡在 200 毫秒左右,如果加上 350 毫秒的双向网络传输时间,端到端总交互延迟大概在 550 毫秒。演示中任何场景的预填充时间只有 0.5 秒左右,几乎是话音刚落画面就动了。
分辨率提升带来的直接好处,是镜头终于能往后拉了。现在的虚拟角色支持带场景感的中景构图,角色的坐姿、手势、眼神流转,甚至身后的墙壁纹理和桌上的小物件,在实时对话时都清晰可见。角色也不局限于真人女生,还可以随意切换成猫、婴儿或者虚构奇幻角色。
动脑的和干体力活的彻底分家
端到端生成高分辨率视频的算力开销非常吓人,团队能在不拖慢反应速度的情况下做到这一点,靠的是一套叫「思考者与执行者」(Thinker-Performer)的拆分架构。
简单来说,他们把整个系统切成了动脑和干体力活的两拨人。单张 GPU 充当思考者,专门负责轻量、低延迟的流式感知,包括听声音、看画面输入,以及飞快更新语言状态并构建缓存。
真正耗费算力的高分辨率视频去噪生成,则扔给了多张 GPU 组成的执行者集群。团队采用 Ulysses 风格的上下文并行,把长长的视频序列切碎分给多个卡同时算,再在组内汇总;而简短的音频潜变量则不用切片直接跑。思考者只需要把切片好的键值缓存广播给执行者,两边各司其职,正好把每一步计算卡进 160 毫秒的流式单元里。
为什么重要
我们认为,Wan-Streamer v0.2 最大的价值在于证明了端到端流式多模态模型完全能在不牺牲反应速度的情况下做高清晰度。过去市面上的数字人大多是拼接怪:大语言模型想好台词、文字转语音生成声音、再用另一套唇形同步算法驱动画面,链路极长且经常穿帮。Wan-Streamer 把文字、音频和视频全部揉进同一个 Transformer 的因果时间线上,表现出来的反应自然度明显高出一个档次。
对用户和开发者来说,这种中景交互意味着虚拟陪伴、在线客服或者游戏 NPC 终于脱离了呆滞的大头照形态,角色的肢体语言和环境互动变得真正可用。不过目前这项成果还只停留在论文和技术演示阶段,并没有正式开源代码或开放公测接口。
看起来它的短板也很明显:多 GPU 并行去噪的部署成本注定不低。如果未来要大规模商业化推向成千上万个并发用户,如何在保证 640 像素和 200 毫秒延迟的同时把推理成本压下来,才是它真正要面对的大考。
来源 (2)
- arxiv.org(在新标签页打开)原文arxiv.org
- wan-streamer.com(在新标签页打开)报道wan-streamer.com