字节联合清华发布 DreamID-Omni：一张图配声音，搞定多人对嘴对话

看虚拟人说话，最怕的是什么？画面里两个人坐着，明明是张三在说话，李四的嘴却在疯狂动，或者声音和口型各走各的，像看劣质译制片。

字节跳动智能创作实验室联合清华大学团队给出了新的解法，正式发布多模态模型 DreamID-Omni。相关研究成果已发表在论文 arXiv:2602.12160v1 中。它不仅能让单张照片开口说话，还能彻底搞定复杂的多人同屏对嘴对话。

治好多人同台的「嘴瓢」

以往的视频生成方案，无论是单独做人脸生成还是语音驱动，一旦画面里放进两个人以上，基本就会发生「移花接木」的翻车惨剧。

DreamID-Omni 的核心是用一套对称条件扩散变换器，把人脸、语音和视频编辑整合同一个系统里。你可以给它一段场景提示词，喂一张 Anne Hathaway 或 Will Smith 的照片，再塞一段他们本人的声音样本，系统就能生成对应角色用自己原声说话的完整片段。

更关键的是多人场景。研究团队搞了一套双层解耦策略：在信号层设计了同步旋转位置编码，给每个角色在时间轴上分派专属的演出时段；在语义层引入结构化字幕，给每个角色打上唯一的身份证 ID，绑定台词、外貌和声音。这样系统在生成画面时，绝不会搞混谁在什么时候该动嘴。

除了从零生成视频，它还支持拿现有视频直接做二次编辑。你可以把原片中的演员换成另一个人，顺便把原声替换成新角色的音色，动作和口型依然能够保持同步。

渐进式训练与基准测试

为了让模型学会这么多技能，团队采用了三阶段渐进训练：先做掩码重构打好临摹基本功，再做跨配对解耦学会把 A 的脸和 B 的声音捏合，最后才做全能微调，让它能在生成、编辑和音频驱动三种场景自由切换。

研究团队还专门搭建了包含 200 个高质量测试样本的综合基准 IDBench-Omni。在与 Wan2.6 等顶级系统的对比测试中，DreamID-Omni 在唇音同步和身份保持度上表现突出。

在 30 位专业视频制作人的盲测打分中，它在文本视频匹配、音色相似度等 7 个维度上也拿下了最高分。目前项目已经在 GitHub 建立了页面，团队表示正在做开源前的最后准备，预计将在 3 月放出 v1 版本的开源代码和模型。

为什么重要

对于独立创作者和小型工作室来说，这种多模态工具的实用价值非常直接。过去要做一段高质量的多人数字人对话或短剧，不仅要买昂贵算力，还要在语音克隆、唇形同步、换脸多个工具之间来回倒腾，稍有不慎就对不上口型。一旦 DreamID-Omni 在 3 月开源，单凭静态素材和音频样本就能批量产出多人剧情，视频制作门槛会被大幅拉低。

在行业竞争上，字节跳动和清华团队的思路很清晰：不再跟风做单一维度的换脸或生成，而是把音视频联合扩散做成一个多任务统一架构。这种打法直接提升了虚拟人视频的可用标准，也会逼着其他厂商加速跟进端到端的音画多角色协同。

我们认为，这套架构最聪明的地方在于用结构化字幕和位置编码给角色发「身份证」，优雅地解决了多人对嘴这个行业痛点。不过在实际落地前，计算开销和长视频生成的稳定性依然是个坎。另外，换脸换声如此逼真且门槛降低，随之而来的深度伪造和滥用风险，也值得全行业警惕。