バイドゥ、音声付き動画生成モデル「NAVA」を公開：映像と音声を同時生成

現在の AI 動画生成における一番の違和感は、映像の荒さよりも「音の欠如」にありました。これまでの手法は無音の映像を作った後、別のツールで音声や効果音を当てはめる後処理が一般的で、口元の動きと声がズレる問題がつきまとっていました。

Baidu（百度）の ERNIE チームは、映像と音声を同時に生成するモデル「NAVA」をオープンソースで公開しました。

パラメータ数は 63 億と比較的コンパクトでありながら、映像とステレオ音声を 1 つのプロンプトから直接生成するアプローチを採用しています。

アラインメントと融合を分ける独自設計

映像と音声をまとめて扱う場合、独立したモデルを無理に同期させるとズレが生じ、すべてを単一の巨大モデルにまとめると細かな口元の同期が崩れがちになります。

NAVA は「Align-then-Fuse」と呼ばれる MMDiT 構成を採用しました。全 30 層のうち最初の 10 層で映像と音声の物理的な対応関係を先に学習させ、残りの 20 層でテキストプロンプトや文脈情報を全体に統合します。

早い段階で動きと音の同期を固定するため、生成過程でリップシンクが破綻しにくくなっています。

ベンチマークの Verse-Bench では、同期精度を示す Sync-C や Sync-D、映像品質、音声認識精度において、既存のオープンソースモデルを 2 倍から 5 倍少ないパラメータで上回り、最高水準を記録しました。

声色の指定からカメラ制御まで対応

NAVA は環境音を鳴らすだけでなく、複数人の会話シーンにも対応します。

リファレンスとなる音声ファイルを指定することで、特定のキャラクターに狙った声色を割り当てて喋らせることが可能です。

また、プロンプトによるカメラワークの指示にも対応しており、画角やカメラの動き、テンポをテキストでコントロールできます。アスペクト比も横長、縦長、正方形を同一チェックポイントで出力可能です。

生成速度面では、8 基の GPU 並列処理を用いることで、720p 解像度の 1 分間の音付き動画を約 1 分で生成できます。重みファイルと推論スクリプトは Hugging Face および GitHub で提供されています。

なぜ重要か

デジタルヒューマンの制作やショート動画を手掛けるクリエイターにとって、制作パイプラインが大幅に短縮される価値は絶大です。従来のように動画生成、音声合成、リップシンク補正の各ツールを行き来する必要がなくなり、音ズレの修正作業から解放されます。

業界全体から見ても、NAVA は 63 億という扱いやすいサイズで高精度なマルチモーダル生成が成立することを示しました。パラメータをひたすら増やすのではなく、音声と映像の同期構造を工夫することで性能を引き出す道筋を切り開いています。

ただし、実用面でのハードルが完全に消えたわけではありません。720p の 1 分動画を高速生成するには 8 基の GPU を束ねる環境が前提となっており、個人開発者が一般的な PC で手軽に動かせる段階にはまだ至っていません。それでも、AI 動画が「無音の時代」を脱するための有力な基盤がオープンソースとして手に入った意義は大きいと考えられます。