跳到正文
IFAI

开源项目

腾讯混元开源图生视频模型:130 亿参数,自带音效与对口型

首次发布 传播指数 51

腾讯混元正式开源图生视频模型 HunyuanVideo-I2V,权重与 LoRA 训练代码全公开。模型总参数量 130 亿,传一张图就能生成带音效的 5 秒 2K 视频,还支持动作驱动和人物对口型。普通用户可在混元官网体验,开发者可在 GitHub 直接下载。

腾讯混元刚刚把自己的图生视频模型 HunyuanVideo-I2V 开源了,连同权重、推理代码和 LoRA 训练代码一次性全放了出来。

简单来说,你只要给它一张静态图,再加上一句动作描述或运镜指令,它就能吐出一支 5 秒长、2K 分辨率的短视频,而且会自动配好对应的背景音效。

它能做什么

除了常规的让图片动起来,这次开源还带了两个很实用的玩法:对口型和动作驱动。

如果你上传一张人物肖像,输入一段文字或者音频,模型就能让画面里的人物跟着节奏开口说话或者唱歌。

动作驱动则更进一步。你可以用它来做姿态迁移,比如传一张角色的静态立绘,就能一键让它跳出指定的舞蹈动作。官方给出的范围不仅限于真人写实,动漫角色甚至 CGI 虚拟角色都能跑得通。

普通用户现在可以直接去混元 AI 视频官网在线体验,企业和开发者也可以通过腾讯云申请 API。想在自己机器上折腾的,去 GitHub 或者 Hugging Face 搜 HunyuanVideo-I2V 就能直接拉取代码和权重。

模型细节与开源内容

这个图生视频模型延续了混元文生视频的技术路线,总参数量保持在 130 亿。

根据混元发布的技术报告,图生视频和之前的文生视频是在同一个数据集上做的预训练。它支持结合图像、文本、音频和姿态等多种输入条件,以此来实现对画面动作和原生镜头切换的控制。

这次开源最大的诚意在于放出了 LoRA 训练代码。这意味着开发者不需要重新去啃那 130 亿参数的完整预训练,只要准备少量高质量特定画风或动作的数据,就能在本地训练专属的衍生模型。

目前混元开源系列已经覆盖了文本、图像、视频和 3D 生成,在 GitHub 上累计拿到了超过 2.3 万个标星。

为什么重要

开源视频生成领域一直缺一个真正好用、控制力强且带配套工具链的底座。很多开源项目要么只放演示,要么代码不完整,普通开发者很难在上面做二次开发。

混元把 130 亿参数的权重和 LoRA 训练脚本全拿出来,直接降低了社区微调视频模型的门槛。对做游戏资产、动画短片或者自媒体特效的创作者来说,它是一个值得立刻拿去跑一跑的本地生产力工具。

不过 130 亿参数对显存的要求并不低,想要在本地流畅跑推理甚至做 LoRA 微调,硬件门槛依然摆在那里。我们认为,它的真正价值在于给开源生态打了一剂强心针,逼着同类商业闭源工具在控制度和定制能力上拿出更多真东西。

来源 (2)

  1. [1]
    @TXhunyuan(在新标签页打开)原文twitter.com
  2. [2]

话题追踪腾讯 HunyuanVideo 系列模型

这个话题的历次新闻,最新的在上面。

  1. 腾讯开源 HunyuanVideo-Avatar:一张照片配音频,秒变会唱会聊的数字人
  2. 腾讯混元开源图生视频模型:130 亿参数,自带音效与对口型本条

每日 AI 内容精选