位元組聯合清華髮布 DreamID-Omni：一張圖配聲音，搞定多人對嘴對話

看虛擬人說話，最怕的是什麼？畫面裡兩個人坐著，明明是張三在說話，李四的嘴卻在瘋狂動，或者聲音和口型各走各的，像看劣質譯製片。

字節跳動智慧創作實驗室聯合清華大學團隊給出了新的解法，正式釋出多模態模型 DreamID-Omni。相關研究成果已發表在論文 arXiv:2602.12160v1 中。它不僅能讓單張照片開口說話，還能徹底搞定複雜的多人同屏對嘴對話。

治好多人同臺的「嘴瓢」

以往的影片生成方案，無論是單獨做人臉生成還是語音驅動，一旦畫面裡放進兩個人以上，基本就會發生「移花接木」的翻車慘劇。

DreamID-Omni 的核心是用一套對稱條件擴散變換器，把人臉、語音和影片編輯整合同一個系統裡。你可以給它一段場景提示詞，喂一張 Anne Hathaway 或 Will Smith 的照片，再塞一段他們本人的聲音樣本，系統就能生成對應角色用自己原聲說話的完整片段。

更關鍵的是多人場景。研究團隊搞了一套雙層解耦策略：在訊號層設計了同步旋轉位置編碼，給每個角色在時間軸上分派專屬的演出時段；在語義層引入結構化字幕，給每個角色打上唯一的身份證 ID，繫結臺詞、外貌和聲音。這樣系統在生成畫面時，絕不會搞混誰在什麼時候該動嘴。

除了從零生成影片，它還支援拿現有影片直接做二次編輯。你可以把原片中的演員換成另一個人，順便把原聲替換成新角色的音色，動作和口型依然能夠保持同步。

漸進式訓練與基準測試

為了讓模型學會這麼多技能，團隊採用了三階段漸進訓練：先做掩碼重構打好臨摹基本功，再做跨配對解耦學會把 A 的臉和 B 的聲音捏合，最後才做全能微調，讓它能在生成、編輯和音訊驅動三種場景自由切換。

研究團隊還專門搭建了包含 200 個高質量測試樣本的綜合基準 IDBench-Omni。在與 Wan2.6 等頂級系統的對比測試中，DreamID-Omni 在唇音同步和身份保持度上表現突出。

在 30 位專業影片製作人的盲測打分中，它在文本影片匹配、音色相似度等 7 個維度上也拿下了最高分。目前專案已經在 GitHub 建立了頁面，團隊表示正在做開源前的最後準備，預計將在 3 月放出 v1 版本的開原始碼和模型。

為什麼重要

對於獨立創作者和小型工作室來說，這種多模態工具的實用價值非常直接。過去要做一段高質量的多人數字人對話或短劇，不僅要買昂貴算力，還要在語音克隆、唇形同步、換臉多個工具之間來回倒騰，稍有不慎就對不上口型。一旦 DreamID-Omni 在 3 月開源，單憑靜態素材和音訊樣本就能批次產出多人劇情，影片製作門檻會被大幅拉低。

在行業競爭上，字節跳動和清華團隊的思路很清晰：不再跟風做單一維度的換臉或生成，而是把音影片聯合擴散做成一個多工統一架構。這種打法直接提升了虛擬人影片的可用標準，也會逼著其他廠商加速跟進端到端的音畫多角色協同。

我們認為，這套架構最聰明的地方在於用結構化字幕和位置編碼給角色發「身份證」，優雅地解決了多人對嘴這個行業痛點。不過在實際落地前，計算開銷和長影片生成的穩定性依然是個坎。另外，換臉換聲如此逼真且門檻降低，隨之而來的深度偽造和濫用風險，也值得全行業警惕。