テンセント、動画から高精度な効果音を作るHunyuanVideo-Foleyを公開

HunyuanVideo-Foleyは、テンセント混元（Tencent Hunyuan）がオープンソースとして公開したテキスト・動画から音声を生成する（TV2A）フレームワークです。無音の動画と任意のテキストを入力するだけで、映像の動きにぴったり同期した効果音や環境音を自動生成できます。

映像制作やゲーム開発において、足音やドアの開閉音などを映像に合わせて後付けする「フォーリー（音響効果）」作業は非常に手間がかかります。このツールはその作業を自動化することを目的としています。

何ができるのか

公開されたベンチマークによると、HunyuanVideo-Foleyは音声の品質、映像との意味的一致、時間軸での同期精度において、従来のオープンソースモデルを上回るSOTA（最高水準）を達成しています。

特筆すべきは、音の重なりを自然に表現できる点です。画面内の主要な被写体の動きだけでなく、背後で吹く風や遠くの街のざわめきといった環境音まで、階層的に再現します。実写の風景映像からアニメーションまで幅広く対応します。

仕組みと開放状況

高精度な同期を実現するため、モデルは10万時間におよぶマルチモーダルデータセットで事前学習されています。

アーキテクチャにはマルチモーダルDiffusion Transformer（MMDiT）を採用し、映像の動きとテキストプロンプトの指示をバランスよく反映します。さらに表現アライメント（REPA）損失関数と高性能なAudio VAEを組み合わせることで、ノイズや不自然な音の途切れを抑えています。

コードはGitHubで公開されており、学習済みウェイトはHugging Faceからダウンロード可能です。プロジェクトページではサンプル動画を視聴できるほか、技術的な詳細はarXivの論文にまとめられています。

なぜ重要か

インディーゲーム開発者や動画クリエイターにとって、効果音の選定とタイミング調整にかかる時間を大幅に削減できる実用的なツールになり得ます。手動で音を切り貼りする手間が激減するため、試す価値は十分にあります。

AI動画生成は目覚ましい進化を遂げてきましたが、生成される映像の多くは無音のままでした。HunyuanVideo-Foleyのような高品質なオープンソースモデルの登場は、AI動画に自然な「音」を与えるための重要なステップであり、今後の動画生成プラットフォームに標準機能としての組み込みを促すきっかけになると考えられます。