腾讯开源 HunyuanVideo-Avatar：一张照片配音频，秒变会唱会聊的数字人

HunyuanVideo-Avatar 是腾讯混元与腾讯音乐联合开源的音频驱动数字人视频生成模型。只要给它一张静态人像和一段音频，它就能让照片里的人物开口说话甚至放声歌唱，生成动态自然的短视频。

它能做什么

模型支持最长 14 秒的音频输入，能根据音频内容自动感知情绪与场景氛围。生成的视频不仅嘴型对得上，面部表情和肢体动作也会随着语气起伏。

输入素材不挑风格。不管是写实真人、卡通立绘、3D 建模还是动物拟人形象，它都能吃进去。画面构图也覆盖了特写头像、半身以及全身视角，前景人物动的同时，背景也会跟着产生自然的动态交互，不再是传统数字人那种死板的贴皮假人。

除了传统的单人对口型，它还支持多人互动场景，这也是此前同类模型最头疼的痛点。不过目前开源上线的主要是单人模式，多人互动模式还在排期中，官方表示会在近期开放。

核心机制与硬件门槛

HunyuanVideo-Avatar 基于多模态扩散 Transformer（MM-DiT）架构打造。为了解决人物一致性和高动态动作的冲突，团队做掉了传统的加法条件注入，换成了专门的角色图像注入模块，避免了训练和推理阶段的数据偏差。

针对情绪控制，模型设计了音频情绪模块（AEM），可以从参考图像中抽取情绪特征并迁移到生成的视频中。而在多人场景里，它靠人脸感知音频适配器（FAA）在隐空间隔离不同角色的面部遮罩，让不同的音频输入通过交叉注意力独立驱动对应的角色，防止声音窜头。

跑这个模型需要一定的算力储备。官方脚本默认支持 8 卡并行加速，单次生成 704 分辨率、129 帧的动态视频。

但个人开发者也能玩得动。开源仓库提供了单卡脚本，并原生支持 FP8 量化与 DeepCache 加速技术。显存吃紧的用户还能开启 CPU Offload，把部分权重甩给系统内存，在单张主流显卡上把视频磨出来。

怎么跑起来与开放程度

目前单人模式的代码与权重已经完整托管在 GitHub 和 Hugging Face 上，技术报告也同步放到了 arXiv。

如果你只是想随手看看效果，不需要折腾本地环境，腾讯已经在混元网页端上线了单人模式试玩入口，上传素材就能直接生成。对于有定制化需求或本地部署能力的开发者，可以直接拉取 GitHub 仓库的推理脚本，配置环境后配合权重文件运行测试用例。

这套技术不是纸上谈兵，它已经在腾讯音乐娱乐集团旗下的多款实际应用中落地，用来批量制作短视频、电商播报和广告素材。

为什么重要

对于短视频创作者、电商带货团队和独立游戏开发者来说，这套工具非常值得一试。以前做一个会唱歌或情绪饱满的动态数字人，要么需要动捕面捕设备，要么生成的视频肢体极度僵硬。HunyuanVideo-Avatar 把门槛降到了一张图加一段音频，哪怕低配单卡也能靠量化跑出结果。

和行业现有的开源音频驱动方案相比，它最聪明的点在于同时搞定了全身动态与情绪迁移，而且把多人对话的架构提前铺好了。唯一的遗憾是多人互动模式尚未完全开源，且本地生成对算力和推理耗时仍有一定要求。但单人模式的开源，已经足够给当下的虚拟人和短视频工作流带来一次直接的效率升级。