騰訊開源 HunyuanVideo-Avatar：一張照片配音訊，秒變會唱會聊的數字人

HunyuanVideo-Avatar 是騰訊混元與騰訊音樂聯合開源的音訊驅動數字人影片生成模型。只要給它一張靜態人像和一段音訊，它就能讓照片裡的人物開口說話甚至放聲歌唱，生成動態自然的短影片。

它能做什麼

模型支援最長 14 秒的音訊輸入，能根據音訊內容自動感知情緒與場景氛圍。生成的影片不僅嘴型對得上，面部表情和肢體動作也會隨著語氣起伏。

輸入素材不挑風格。不管是寫實真人、卡通立繪、3D 建模還是動物擬人形象，它都能吃進去。畫面構圖也覆蓋了特寫頭像、半身以及全身視角，前景人物動的同時，背景也會跟著產生自然的動態互動，不再是傳統數字人那種死板的貼皮假人。

除了傳統的單人對口型，它還支援多人互動場景，這也是此前同類模型最頭疼的痛點。不過目前開源上線的主要是單人模式，多人互動模式還在排期中，官方表示會在近期開放。

核心機制與硬體門檻

HunyuanVideo-Avatar 基於多模態擴散 Transformer（MM-DiT）架構打造。為了解決人物一致性和高動態動作的衝突，團隊做掉了傳統的加法條件注入，換成了專門的角色影像注入模組，避免了訓練和推理階段的資料偏差。

針對情緒控制，模型設計了音訊情緒模組（AEM），可以從參考影像中抽取情緒特徵並遷移到生成的影片中。而在多人場景裡，它靠人臉感知音訊介面卡（FAA）在隱空間隔離不同角色的面部遮罩，讓不同的音訊輸入通過交叉注意力獨立驅動對應的角色，防止聲音竄頭。

跑這個模型需要一定的算力儲備。官方指令碼預設支援 8 卡並行加速，單次生成 704 解析度、129 幀的動態影片。

但個人開發者也能玩得動。開源倉庫提供了單卡指令碼，並原生支援 FP8 量化與 DeepCache 加速技術。視訊記憶體吃緊的使用者還能開啟 CPU Offload，把部分權重甩給系統記憶體，在單張主流顯示卡上把影片磨出來。

怎麼跑起來與開放程度

目前單人模式的程式碼與權重已經完整託管在 GitHub 和 Hugging Face 上，技術報告也同步放到了 arXiv。

如果你只是想隨手看看效果，不需要折騰本地環境，騰訊已經在混元網頁端上線了單人模式試玩入口，上傳素材就能直接生成。對於有定製化需求或本地部署能力的開發者，可以直接拉取 GitHub 倉庫的推理指令碼，配置環境後配合權重檔案執行測試用例。

這套技術不是紙上談兵，它已經在騰訊音樂娛樂集團旗下的多款實際應用中落地，用來批次製作短影片、電商播報和廣告素材。

為什麼重要

對於短影片創作者、電商帶貨團隊和獨立遊戲開發者來說，這套工具非常值得一試。以前做一個會唱歌或情緒飽滿的動態數字人，要麼需要動捕面捕裝置，要麼生成的影片肢體極度僵硬。HunyuanVideo-Avatar 把門檻降到了一張圖加一段音訊，哪怕低配單卡也能靠量化跑出結果。

和行業現有的開源音訊驅動方案相比，它最聰明的點在於同時搞定了全身動態與情緒遷移，而且把多人對話的架構提前鋪好了。唯一的遺憾是多人互動模式尚未完全開源，且本地生成對算力和推理耗時仍有一定要求。但單人模式的開源，已經足夠給當下的虛擬人和短影片工作流帶來一次直接的效率升級。