位元組預告音影片模型 Alive:聲畫同步一次生成,口型表情全打通
字節跳動公佈音影片統一生成模型 Alive。它能同時接收文本、參考圖與參考音訊,直接生成口型同步且表情自然的帶聲影片。評測顯示其綜合表現超越 Sora 與 LTX2,不過目前僅公開了論文,程式碼與線上 Demo 尚未開放。

過去用 AI 做影片,最彆扭的環節從來不是畫面不夠高畫質,而是「默片配音」。你得先讓影片模型跑出一段無聲畫面,再找音訊模型配音效,最後丟進專門的工具去硬對口型,稍有偏差就像在看粗糙的譯製片。
字節跳動釋出了一篇新論文,端出了一個叫 Alive 的音影片統一生成模型。從官方預告來看,它想做的事很簡單:直接在生成畫面的那一瞬間,把同步的聲音一起給做出來。
把文本、圖片與聲音塞進同一個模型
除了最近大家關注的 Seedance 2.0,位元組在影片生成領域的佈局明顯在加快。這次公佈的 Alive 走的是統一多模態路徑,輸入端支援文本描述、參考影像和參考音訊。
也就是說,你既可以純靠一段提示詞生成帶聲影片,也可以上傳一張角色或物體的參考圖,直接把它「啟用」成一段能說話、有表情的動態畫面。
從官方放出的樣例看,Alive 生成的人物面部肌肉非常放鬆,發音時的口型匹配度極高,沒有那種機械拉扯的僵硬感。在多模態對照測試中,位元組給出了它與 LTX2、Sora 以及 VO3.1 的勝率對比圖。資料顯示,Alive 在運動連貫性、畫面美感、提示詞遵從度以及音訊質量等維度上,平均勝率都穩穩壓過了對手。
給擴散模型裝上聲畫時鐘
要在同一個模型裡把畫面和聲音同時對齊,技術門檻並不低。Alive 沒有從零硬造輪子,而是基於現有的文生影片模型進行改造,適配成類似 Sora 風格的音影片聯合生成架構。
團隊改造了業界常用的 MMDiT 架構,給它外掛了一個聯合音影片分支。其中有兩個核心技術點:一個是 TA-CrossAttn,專門負責在時間維度上把音訊和畫面特徵融在一起;另一個是 UniTemp-RoPE,像一個精準的時鐘位置編碼,確保聲音節拍和嘴唇動作分秒不差。
為了餵飽這個架構,團隊搭建了一整套音影片自動打標和質量篩選管線,最終在百萬級高質量資料上做了持續預訓練和微調。
不過,目前大家能看到的還只是預告和論文。雖然專案主頁掛出了 GitHub 入口,但倉庫裡還沒有任何開原始碼,線上 Demo 也依然標著即將上線。
為什麼重要
我們認為,AI 影片生成正在快速告別「兩道工序」的拼湊時代。過去把畫面和音效切開生成的方案,不僅流程繁瑣,而且永遠無法解決聲畫在物理層面的因果對應。Alive 證明了在擴散模型內部原生對齊音影片是完全可行的,這會倒逼其他主流玩家加速跟進原生多模態生成。
對創作者來說,真正的價值在於製作門檻的斷崖式下跌。如果一個角色只要一張靜態立繪就能同時開口說話、帶著自然環境音動起來,短劇生產和獨立動畫的製作週期會被壓縮到幾分鐘以內。
但眼下我們建議大家保持理性觀望。一方面,官方給出的對比勝率固然漂亮,但自選評測集往往帶有挑選偏向;另一方面,程式碼和 Demo 都還沒開放,百萬級多模態模型的本地部署門檻絕不會低。Alive 究竟是一次技術實力的純展示,還是一個很快能上手的生產力工具,還得看後續實際開放的成色。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org