Tencent、写真から歌って話す動画を生成する「HunyuanVideo-Avatar」をオープンソース公開

HunyuanVideo-Avatar は、Tencent Hunyuan と Tencent Music が共同開発してオープンソース化した、音声駆動型の動画生成モデルです。静止画像 1 枚と音声を渡すだけで、被写体が自然に話したり歌ったりする高品質な動画を作り出せます。

何ができるのか

最長 14 秒の音声入力に対応し、音声の内容からシーンの文脈や感情を自動認識します。唇の動きが音声と一致するだけでなく、感情の起伏に合わせた表情の変化や大きな身体の動きまで再現できます。

入力できるキャラクターの画風は選びません。実写の人物写真はもちろん、アニメ風イラスト、3D レンダリングモデル、擬人化された動物キャラクターまで幅広く対応します。構図も顔のアップから上半身、全身ショットまで扱え、背景も前景の動きに連動して自然に変化します。

さらに複数キャラクター同士の掛け合い動画の生成機能も備えています。現在公開されているのは単体キャラクター向けモードですが、複数キャラクター対応モードも近日中にオープンソース化される予定です。

仕組みと動作環境

基盤にはマルチモーダル Diffusion Transformer（MM-DiT）を採用しています。激しい動きでも人物の同一性を崩さないよう、従来の加算ベースの手法を排して専用のキャラクター画像注入モジュールを導入し、学習と推論のズレを解消しました。

感情表現には Audio Emotion Module（AEM）を使い、参考画像から感情の特徴を抽出して生成動画へ転写します。複数人の場面では Face-Aware Audio Adapter（FAA）によって潜在空間で各キャラの顔を分離し、独立したクロスアテンションで音声を流し込むことで、声の混線を防ぐ仕組みです。

本格的な生成には 8 基の GPU 並列処理が推奨されており、解像度 704、129 フレームの動画を出力できます。

一方で個人の開発者向けに、単一 GPU で動かせるスクリプトも用意されています。FP8 量子化や DeepCache による高速化に対応し、CPU Offload 機能を使えばメインメモリを活用してビデオメモリ消費を抑えながら動かせます。

入手先と試し方

単体キャラクターモードのソースコードとモデルウェイトは、GitHub および Hugging Face で公開されており、arXiv で技術レポートも読めます。

環境構築なしですぐ試したい場合は、Hunyuan のウェブサイト上にあるデモページから画像をアップロードして直接生成可能です。この技術はすでに Tencent Music Entertainment Group 傘下の複数アプリに導入され、ショート動画制作や広告配信の実務で稼働しています。

なぜ重要か

ショート動画制作者や配信者、ゲーム開発者にとって、すぐに検証する価値のあるツールです。歌唱や豊かな感情を伴うアバター動画を作るには、これまで高価な機材や手作業の調整が必要でしたが、画像 1 枚と音声だけでここまでの動きを出せるようになりました。

既存のオープンソース系トーキングアバターと比較しても、口元だけでなく全身のダイナミックな動きと感情表現を両立させている点で一歩リードしています。ローカル環境での推論には相応のマシンスペックが求められますが、FP8 対応によって単体 GPU でも実用ラインに乗せてきた点は高く評価できます。