百度开源音视频模型 NAVA：63 亿参数，画面与声音原生同步

看 AI 生成的视频，最大的违和感往往不在画面，而在声音。现在的 AI 视频大多像默片，要么只能靠后期加背景音乐和音效，要么靠额外模型对口型，稍不注意声画就各演各的。

百度 ERNIE 团队开源了音视频同步生成模型 NAVA。

它的参数量只有 63 亿，却打破了先做画面再补配音的老路，直接在一个模型里把画面和双声道音频原生联合生成出来。

先对齐动作，再融合上下文

行业里做带声音的视频通常有两种做法：要么画面归画面、声音归声音，最后硬拼在一起；要么从头到尾塞进一个大杂烩模型里，导致细节嘴型顾此失彼。

NAVA 采用了一种被称为 Align-then-Fuse 的 MMDiT 架构。它把 30 层网络拆成了两段，前面 10 层专门用来建立画面与声音的对应关系，不受多余语义干扰；后面 20 层再把文字提示和上下文全部融合进来，完成整体去噪生成。

这样做的好处很直接，声音和动作在早期就完成了空间绑定，不会在生成过程中漂移。

在 Verse-Bench 基准测试中，NAVA 在唇形同步指标 Sync-C、Sync-D、视频画质以及语音识别错误率上都刷新了纪录，而参数量比开源同类基线少了 2 到 5 倍。

自带双声道，还能指定音色

NAVA 不仅能生成环境音，还能应对复杂的多人对白场景。

它支持音色控制，只要提供一段参考音频，模型就能把特定的音色特征绑定到说话片段上，让画面里的角色发出指定的声音。

镜头调度也能直接听懂。你在提示词里写明景别、运动方式和节奏，模型就会按要求运镜，同时支持横屏、竖屏和方形多种比例输出。

在生成速度上，借助 8 卡 Ulysses 序列并行，NAVA 可以在大约 1 分钟内渲染出一整段 1 分钟、720p 分辨率的音画同步视频。

目前它的主模型权重、视觉 VAE 和音频 VAE 已经全部公开，配套推理脚本也已上传 GitHub。

为什么重要

对于短剧制作、数字人生成和独立创作者来说，NAVA 最大的价值在于大幅压缩了管线流程。以前做一个带语音的角色视频，要在文生视频、TTS 配音和面部对口型三个工具之间来回折腾，现在一次推理就能直接吐出带立体声的原片。

在行业层面，NAVA 证明了 63 亿参数的精简架构也能把音视频原生生成跑通。它没有走盲目堆参数的大模型路线，而是靠架构切分把音视频对齐效率拉高，这为未来端侧部署和低成本实时生成打开了新可能。

不过我们认为，现阶段 NAVA 的运行门槛依然偏高。虽然模型本身不算庞大，但要跑出 720p 的 1 分钟成片，依然依赖 8 卡 GPU 并行，个人开发者在单张显卡上很难直接吃下全部性能。但无论如何，AI 视频从哑巴迈向声画同步的原生阶段，看起来已经从这一步拉开了序幕。