Wan Streamer 0.3 发布：虚拟角色支持自然语言实时动作控制

过去几周看各种 AI 虚拟人，你大概早就习惯了它们那种「半身端坐、眼珠微动、嘴型对齐」的固定姿态。看着确实挺像那么回事，但只要多聊两句，就会发现对方就像被定身在摄像头前，除了动动嘴皮子，什么动作都做不了。

开源社区里备受关注的 Wan Streamer 发布了 0.3 版本，试图打破这种局限。

之前的 0.1 和 0.2 版本已经解决了实时视频通话里的口型同步、视线对齐、点头以及微表情，但画面基本被锁在半身或肖像镜头里。这次的 0.3 版本更进一步，让虚拟角色可以直接听懂自然语言指令，并在画面里做出具体的身体动作，与周围环境产生互动。

目前团队发布了题为《Video = World + Event Stream》的技术论文与演示页面。

把视频拆成「世界」与「事件流」

让 AI 视频角色既能实时对话又能随时动起来，最难的地方在于画面容易崩坏，比如一抬手衣服花纹就变了，或者转个头背景就换了房间。

Wan Streamer 0.3 给出的解法很干脆：把整段视频强行拆成两个部分，分别叫「世界」和「事件流」。

所谓「世界」，就是那些在长时间里应该保持一致的东西，比如角色的长相外观、身处的房间、整体视觉风格和背景基调。

而「事件流」则专门装那些随时间流逝不断变化的内容，包括角色说的话、身体动作、镜头运镜以及环境里的偶发事件。在实际对话时，用户的摄像头画面、麦克风收到的声音以及输入的文字，全都会直接并入这条事件流中。

这样一来，普通的视频素材就能直接拿来当训练数据：模型先锁定世界设定，再沿着时间线学习接下来会发生什么。

括号里的自然语言动作指令

在交互体验上，0.3 版本最直观的变化是用自然语言交织控制对话与行为。

在模型的输出格式里，动作直接被写在括号里，和台词混排在一起。例如「（伸手到草丛中拾起一片绿叶）看看我发现了什么」，或者「（捂住嘴，露出惊讶的表情）我没想到会这样」。

括号里可以装入任何能够用语言描述的行为，比如伸手拿东西、朝声音方向转头、改变身体姿势或者做出情绪反应。

演示中，用户发出「用手指比一个耶的手势」「把双手放在腰上」「整理一下你的头发」「看向右边」「低头看地板」等指令，角色都能一边回应一边立刻做出对应动作。

因为动作描述和语音内容共享同一条事件流，它们的发生时机是由模型端到端共同学习并渲染出来的，而不是传统管线里先把语音生成出来、再去外挂动作捕捉或后期拼接。官方特别提到，演示展示的是包含网络耗时在内的真实端到端延迟，没有做任何加速或剪辑重定帧。

为什么重要

我们认为，Wan Streamer 0.3 最聪明的地方，在于它没有继续在「外挂骨骼驱动」或「事后视频重绘」这两条老路上死磕，而是直接把物理动作视作与文字、语音同等地位的模态事件。

把视频统一抽象为「世界设定」加「连续事件流」，不仅在理论上解决了长视频生成中角色与背景容易漂移的顽疾，更让普通视频素材无需复杂骨骼标定就能直接参与预训练。

对于做虚拟陪伴、游戏 NPC 或者互动直播的团队来说，这种交互形态基本指明了下一步的方向。以往要做一个能聊能动的数字人，需要把大语言模型、语音合成、动作捕获库和渲染引擎全拼在一起，工程链路极长，延迟更是很难压进实时全双工。端到端实时生成视频与音频，能把整套架构压缩得极其紧凑。

不过对于普通开发者和用户来说，现在还不到上手部署的时候。团队目前仅放出了技术论文和展示页面，模型权重和完整代码并未同步开放。离真正能在消费级显卡上跑起全双工端到端视频互动，显然还有工程优化和计算成本两座大山要跨过。