跳到正文
IFAI

AIGC

ElevenLabs 推出数字人功能:输入脚本一键生成音画同步视频

首次发布 传播指数 40

ElevenLabs 在 ElevenCreative 中上线 Avatars 功能。用户只需选定数字人、输入脚本并选择声音,即可在单一界面完成口型同步视频生成,还支持在多场景中保持角色一致性,目前面向所有付费方案开放。

以前想用 AI 做个口播视频,流程简直像在工厂流水线上打卡。你得先在 ElevenLabs 把音频调好导出,再打开另一个视频工具上传,选个数字人模型,对口型、等渲染,一旦文案改了一个字,所有步骤就得重来一遍。

ElevenLabs 把这套繁琐的链条直接掐断了。他们在创作平台 ElevenCreative 里上线了新功能 Avatars,把自家招牌的语音模型和对唇算法揉在了一个界面里。从输入文字、挑声音到生成数字人对口型视频,一步搞定。

脸和嘴型,终于在一个锅里煮了

按以前的用法,即使在 ElevenCreative 内部,你也要在图像与视频模块里翻出唇形同步过滤器,挑第三方服务商,再把音频贴进去。说白了,以前的工具是拼凑起来的。

现在 Avatars 把语音生成直接嵌进了输入框。因为 ElevenLabs 自己握着底层的语音模型,声音和对唇动作是在同一个系统环境里跑出来的。官方表示,这样省去了平台间倒腾文件的麻烦,声音和嘴型的贴合度也比外部导入音频更高。

更有意思的是数字人形象的复用机制。你可以传一张真人照片、一张角色插画甚至宠物的图,也可以纯靠一段文字描述让系统捏一个形象。这个形象会存进你的资产库,生成属于它专属的基础身份。

做视频最怕数字人「下一秒就换了张脸」。ElevenLabs 的做法是把基础图片当作角色参考表,同一个角色可以换机位、换衣服、换背景,但在不同镜头里长相保持一致。甚至每个角色还能绑上默认的声音配置,想换也能随时换。

把口播流水线塞进自动化节点

做单条视频是一回事,批量生产是另一回事。

这次更新还有一个杀手锏:Flows 工作流里新增了 Avatar 节点。这意味着你可以搭一个自动化管道,只要塞进去一份产品简介,系统自动生成多版文案、配上不同语种的语音,然后批量渲染出口播视频。

对于做信息流买量广告的团队,这相当于一个人就能批量跑几十版广告素材去测点击率;对于做在线课程或出海软件的公司,一套脚本可以直接换算成不同语言的讲师讲解视频。

目前这个功能已经向 ElevenLabs 的所有付费订阅用户开放,官方库里也自带了一批做好的头像模板可以直接套用。

为什么重要

做 AI 口播视频的赛道其实早就挤满了玩家,但 ElevenLabs 这一步切得特别准。

以往做数字人的工具,声音往往是短板,听起来机械味浓重;而声音做得最好的 ElevenLabs 却只做配音。现在它自己下场把脸和嘴型接上,对类似 HeyGen 这类主打数字人口播的独立工具来说,压力会非常大。毕竟工作流越短,用户留在单一平台的意愿就越强。

对普通创作者和出海营销团队来说,Avatars 最大的价值是降低了批量试错的成本。你不需要自己买绿幕、架灯光,也不用每天守在麦克风前录几十遍口播。几张图配上脚本,就能让一个虚拟代言人在多条视频里持续出镜。

但它看起来也有需要注意的地方。目前这一版主要依赖首帧图和对唇驱动,整体依然属于典型的「大头照口播」范畴,如果涉及大范围的肢体动作、复杂的道具交互,单靠这种对唇生成大概率还是会穿帮。我们认为,它更适合用来做快节奏的口播广告、知识卡片和简单的本地化解说,真要用来做长篇影视或高互动的剧情内容,现在的表现可能还不够看。

来源 (1)

  1. [1]
    elevenlabs.io(在新标签页打开)原文elevenlabs.io

每日 AI 内容精选