阿里发布肖像视频框架 EMO：一张图一段音频，就能让人物自然开唱

如果给一张照片配上一段快节奏的说唱，传统工具做出来的视频往往像贴图在机械地动嘴皮子，眼神呆滞，连动作都跟不上拍子。

研究团队发布了一个名为 EMO（Emote Portrait Alive）的音频驱动人像视频生成框架。它只用一张单人静态肖像照和一段音频，就能直接生成表情生动、动作自然的动态视频，甚至还能根据音频长度生成任意时长的内容。

告别木偶嘴，让肖像真正「活」过来

以往的音频驱动视频往往依赖 3D 面部网格或骨骼关键点做中介，动作容易僵硬，遇到大幅度头部晃动就容易崩坏。

EMO 走的是一条基于扩散模型的直接端到端路径，主要分为两阶段。

第一阶段是帧编码，通过名为 ReferenceNet 的模块从参考图像和动作帧中提取人物特征，确保人脸不会走样。

第二阶段则是扩散去噪过程。预训练的音频编码器提取出声音特征，结合面部掩码和多帧噪声输入骨干网络。

在骨干网络内部，团队设计了两种注意力机制：Reference-Attention 负责锁死人物身份一致性，Audio-Attention 则专门负责把声音细节映射到面部肌肉和动作上。最后配合时间模块，精准调整动作速度和节奏。

从官方放出的演示来看，这套机制能敏锐捕捉声音里的细微音调起伏。

即使是极快节奏的说唱歌词，画面中的人物也能跟上节奏，而且嘴型、眼神和头部摆动非常协调。除了普通讲话，唱歌、高音吼叫甚至多语言发音都能处理。

它吃进的参考图也不挑食。无论是历史老照片、经典油画，还是 3D 模型渲染图，甚至是 Sora 等 AI 生成的女性肖像，都能被一段音频驱动起来。

为什么重要

我们认为，EMO 最让人眼前一亮的地方，在于它终于打破了「AI 说话头就是动嘴皮」的木偶感。传统技术做数字人总是避不开中间代理特征的损耗，而 EMO 依靠 Diffusion 和双注意力机制，直接把声学特征变成了富有情绪张力的面部表演。

对于创作者和游戏、影视团队来说，这种能力的落地门槛非常低。只要一张立绘或者角色原画，配上一段多语言配音，就能直接生成带情绪的独白或对白短片，不再需要昂贵且繁琐的面部动捕设备。

但它也存在显而易见的隐患。这种极高保真度、只需要一张照片就能伪造真情实感说话或唱歌的技术，毫无疑问会进一步加剧 Deepfake 泛滥和身份滥用的风险。名人和普通人的肖像被拿去配合伪造音频说话的成本，看起来已经被拉到了最低点。

整体来看，EMO 证明了音频特征本身就足以作为驱动视频画面的高维控制信号。这会逼着现有的数字人公司和虚拟主播方案快速跟进端到端扩散路线，那种死板的面部绑定技术，可能很快就要被彻底淘汰了。