百度開源音影片模型 NAVA：63 億引數，畫面與聲音原生同步

看 AI 生成的影片，最大的違和感往往不在畫面，而在聲音。現在的 AI 影片大多像默片，要麼只能靠後期加背景音樂和音效，要麼靠額外模型對口型，稍不注意聲畫就各演各的。

百度 ERNIE 團隊開源了音影片同步生成模型 NAVA。

它的引數量只有 63 億，卻打破了先做畫面再補配音的老路，直接在一個模型裡把畫面和雙聲道音訊原生聯合生成出來。

先對齊動作，再融合上下文

行業裡做帶聲音的影片通常有兩種做法：要麼畫面歸畫面、聲音歸聲音，最後硬拼在一起；要麼從頭到尾塞進一個大雜燴模型裡，導致細節嘴型顧此失彼。

NAVA 採用了一種被稱為 Align-then-Fuse 的 MMDiT 架構。它把 30 層網路拆成了兩段，前面 10 層專門用來建立畫面與聲音的對應關係，不受多餘語義干擾；後面 20 層再把文字提示和上下文全部融合進來，完成整體去噪生成。

這樣做的好處很直接，聲音和動作在早期就完成了空間繫結，不會在生成過程中漂移。

在 Verse-Bench 基準測試中，NAVA 在唇形同步指標 Sync-C、Sync-D、影片畫質以及語音識別錯誤率上都重新整理了紀錄，而引數量比開源同類基線少了 2 到 5 倍。

自帶雙聲道，還能指定音色

NAVA 不僅能生成環境音，還能應對複雜的多人對白場景。

它支援音色控制，只要提供一段參考音訊，模型就能把特定的音色特徵繫結到說話片段上，讓畫面裡的角色發出指定的聲音。

鏡頭排程也能直接聽懂。你在提示詞裡寫明景別、運動方式和節奏，模型就會按要求運鏡，同時支援橫屏、豎屏和方形多種比例輸出。

在生成速度上，藉助 8 卡 Ulysses 序列並行，NAVA 可以在大約 1 分鐘內渲染出一整段 1 分鐘、720p 解析度的音畫同步影片。

目前它的主模型權重、視覺 VAE 和音訊 VAE 已經全部公開，配套推理指令碼也已上傳 GitHub。

為什麼重要

對於短劇製作、數字人生成和獨立創作者來說，NAVA 最大的價值在於大幅壓縮了管線流程。以前做一個帶語音的角色影片，要在文生影片、TTS 配音和麵部對口型三個工具之間來回折騰，現在一次推理就能直接吐出帶立體聲的原片。

在行業層面，NAVA 證明了 63 億引數的精簡架構也能把音影片原生生成跑通。它沒有走盲目堆引數的大模型路線，而是靠架構切分把音影片對齊效率拉高，這為未來端側部署和低成本即時生成打開了新可能。

不過我們認為，現階段 NAVA 的執行門檻依然偏高。雖然模型本身不算龐大，但要跑出 720p 的 1 分鐘成片，依然依賴 8 卡 GPU 並行，個人開發者在單張顯示卡上很難直接吃下全部效能。但無論如何，AI 影片從啞巴邁向聲畫同步的原生階段，看起來已經從這一步拉開了序幕。