跳到正文
IFAI

AIGC

HeyGen 推出 Avatar IV:一张照片加声音,就能生成逼真数字人

首次发布 传播指数 39

HeyGen 推出新一代数字人模型 Avatar IV,仅需一张静态照片和一段语音即可生成视频。新模型基于扩散架构驱动,能识别声音的语气和情绪,自动合成歪头、停顿及面部微表情。目前该功能已向全体用户推出。

HeyGen 推出 Avatar IV:一张照片加声音,就能生成逼真数字人
图:x.com

以前做数字人视频,最怕的就是那种「皮动肉不动」的塑料感:嘴唇在机械地对口型,脖子和脸颊却僵得像石膏雕像。

HeyGen 创始人 Joshua Xu 宣布推出新一代模型 Avatar IV,并面向全体用户推送。这次的门槛压得很低:只要提供一张单人照片、一段台词脚本加上一段你的声音,就能生成逼真的视频。

读懂语气,而不只是机械对口型

大多数数字人只会机械地把音节和口型做映射,而 Avatar IV 的核心是让模型去「理解」声音。

它底层用了一套受扩散模型启发的音频到表情引擎,不仅识别人在说什么,还会分析语调、节奏和情绪波动,从而合成带有时间真实感(temporal realism)的面部动态。

生成出来的画面不再只是嘴巴在动,而是包含了细微的头部倾斜、说话时的停顿、语调起伏带来的节奏感,以及各种微表情,让单张照片直接变成看着自然流动的真人体态。

为什么重要

从单张静态图直接跑出高表现力的人像视频,意味着内容创作者和出海营销团队再也不用大费周章去棚拍或录制几分钟的高清样本,随便翻出一张清晰肖像就能开工。

对行业来说,Avatar IV 正在把竞争从单纯的「对唇形准确度」拉向「情绪与肢体拟真度」。过去为了逼真往往需要昂贵的动作捕捉或多角度视频采集,现在靠扩散机制结合语音特征提取,就把这道门槛踩平了。

不过我们认为,单张照片生成的上限虽然高,隐患也很明显。合成逼真度越高、输入门槛越低,肖像滥用和虚假视频伪造的风险就会成倍放大,如何在开放给全体用户后防住越界滥用,是 HeyGen 必须面对的硬仗。

来源 (1)

  1. [1]
    @joshua_xu_(在新标签页打开)原文x.com

话题追踪HeyGen Avatar IV 的开发与更新

这个话题的历次新闻,最新的在上面。

  1. HeyGen 升级 Avatar IV:支持 Prompt 控制手势,微表情更逼真
  2. HeyGen 推出 Avatar IV:一张照片加声音,就能生成逼真数字人本条

每日 AI 内容精选