復旦大学、テキストからリアルタイムで音声・動画アバターを生成する「Hallo-Live」を発表

Hallo-Live は、復旦大学の研究チームが公開したリアルタイムストリーミング対応の音声・映像アバター生成フレームワークです。テキストを入力するだけで、発話音声と同期したポートレート映像をリアルタイムに同時生成できます。対話型デジタルヒューマンで最大の課題だった高い遅延と口元のズレを解消することを目的としています。

従来の拡散モデルを用いた音声・映像アバターは計算コストが高く、対話用途に耐えられませんでした。無理に高速化すると画質低下や同期の乱れが発生します。Hallo-Live は、非同期デュアルストリーム拡散と人手評価基準に基づく蒸留手法を組み合わせることで、このトレードオフを突破しました。

遅延を抑えて同期を保つ仕組み

ストリーミング生成で自然な発話動作を再現するため、本手法は「Future-Expanding Attention」を導入しています。映像ブロックが現在の同期音声だけでなく、直後のわずかな音素情報を先読みできるようにすることで、口の動きの遅れを防ぎます。

さらに、少ステップ蒸留に伴う画質劣化を防ぐため、「HP-DMD」と呼ばれる選好誘導蒸留を採用しました。映像の忠実度、音声の自然さ、音と映像の同期精度の 3 つのリワードを用いて学習サンプルの重み付けを最適化し、少ないステップ数でも崩れのない映像を維持します。

動作環境とパフォーマンス

実証実験において、Hallo-Live は 2 基の NVIDIA H200 GPU 環境で 20.38 FPS のフレームレートと 0.94 秒の遅延を記録しました。

教師モデルである Ovi と比較して、スループットは 16.0 倍に向上し、遅延は 99.3 分の 1 に短縮されています。画質を測る VideoAlign スコアや音声同期の信頼度スコアでも教師モデルと同等の水準を維持しており、実写人物だけでなく複数話者やスタイライズされたアバターでも安定した生成が確認されています。

論文および詳細な検証データは arXiv（2604.23632）で公開されています。

なぜ重要か

対話型 AI エージェントやバーチャル配信のリアルタイム運用を目指す開発者にとって、注目のフレームワークです。音声を先行生成してから映像を追従させる従来の手法とは異なり、テキストから映像と音声を統合ストリーミング生成して 1 秒未満の遅延を実現できることを実証しました。

発話予測の注意機構と蒸留の組み合わせは非常に合理的ですが、実運用には 2 基の H200 が必要なため、現段階でのハードウェア要件はかなり高価です。今後は一般的な GPU やエッジ環境へどこまで軽量化できるかが実用化の鍵になります。