ByteDance、動画・音声同時生成モデル「Alive」予告　高精度な口唇同期を実現

これまでのAI動画制作は、無声映像を作ってから別のツールで音声をあて、さらに口唇の動きを合わせるという、つぎはぎの作業が当たり前でした。

ByteDanceはこの課題を根本から解消すべく、音と映像を同時に生成する新モデル「Alive」の論文を公開しました。映像が立ち上がる瞬間に、完全に同期した音も一緒に作り出す仕組みです。

テキストと画像から、声付き動画を直接出力

Seedance 2.0の話題に続き、ByteDanceは動画生成分野で攻勢を強めています。今回予告されたAliveは、テキスト指示だけでなく、参照画像や参照音声もまとめて受け取れる統合フレームワークです。

文章から有声動画を丸ごと立ち上げることもできれば、1枚のキャラクター画像を読み込ませて、自然な表情と正確なリップシンクで喋らせるアニメーション生成にも対応しています。

公開された比較データによると、AliveはSoraやLTX2、VO3.1といった有力モデルに対し、動きの滑らかさ、審美性、プロンプト追従性、音声品質の各項目で高い平均勝率を記録したとされています。

拡散モデルに「映像と音の共通時計」を組み込む

音と映像をズレなく同時に生成するため、研究チームは既存のMMDiTアーキテクチャを拡張し、動画と音声を並行処理する専用ブランチを新設しました。

技術的な肝は、時間軸上で音と映像を融合させる「TA-CrossAttn」と、両者の同期ズレを防ぐ位置エンコーディング「UniTemp-RoPE」の2つです。これらが共通の時計のように働き、口の動きと発音タイミングを一致させます。

さらに高品質なキャプション付けと品質管理パイプラインを構築し、数百万規模の厳選データで追加事前学習とファインチューニングを実施しました。ただし、GitHubページは用意されているもののコードは未公開で、オンラインデモも近日公開の予告段階にとどまっています。

なぜ重要か

私たちは、動画生成AIがいよいよ「無声映画の吹き替え時代」を脱しつつあると考えています。後から音を貼り付ける従来の手法では、物理現象に伴う音や細かな発話タイミングを自然に再現するのに限界がありました。Aliveのようにモデル内部で最初から音画を同期させる設計は、今後の業界標準になっていくはずです。

クリエイターにとっては、動画・音響・リップシンクの各工程を往復する手間が省けるため、ショートドラマやゲーム内演出の制作コストが劇的に下がる可能性があります。

ただし、手放しで喜ぶのはまだ早いと言えます。自社ベンチマークでの高勝率はプロモーションの一環であり、実際の汎用性は外部テストを経ないと分かりません。コードやデモがいつ一般に触れる状態になるのか、今後の公開ペースを冷静に見極める必要があります。