Hedra 推出 Character-3 与 Studio:图文音全模态生成视频
Hedra 发布 Character-3 模型与 Hedra Studio 平台。该模型能同时处理图像、文本和音频,一步完成口型同步与面部表情动作生成。创作者不再需要分步拼凑多个工具,制作长视频门槛大幅降低。
以前用 AI 做个会说话的虚拟人视频,流程往往非常折腾。你得先用一个模型画出人物图,找另一个工具生成配音,再扔进第三个软件里做口型对齐,最后合出来的效果经常脸是僵的、嘴形也是歪的。
做视频生成工具的 Hedra 想把这套麻烦事彻底端平。3 月 6 日,Hedra 正式发布了自研模型 Character-3,以及配套的视频创作平台 Hedra Studio。和以往那些把各个环节拆开跑的模型不同,Hedra 把 Character-3 叫做「全模态」模型,直接把图像、文本和音频放在同一个模型里同时处理。
把图像、文本和声音揉进一个模型
传统的做法之所以容易出破绽,是因为文本理解、音频节奏和画面生成是割裂的。Character-3 的思路是多模态同步输入,模型在看到人物图、读到剧本文字的同时,就已经在听背景音或人声了。
这么做的好处很直接。输入文字描述后,人物不仅能准确对上声音的口型,面部微表情、头部动作和肢体晃动也会顺着语气的起伏自然带出来。换句话说,它不再是拿着一张死板的人脸去机械地贴口型,而是在理解了语气和语境之后,把表情和说话动作一起算出来。
为了让普通人和团队真能用起来,他们同时推出了 Hedra Studio。在这个工作台里,用户可以用文字描述让系统生成动态背景,也能把文字或音频直接转成角色动画。平台支持实时预览,还把市面上其他主流 AI 模型集成到了工作流里,另外也给开发者开放了 API 接口。
拿 1000 万美元死磕长视频
Hedra 由首席执行官 Michael Lingelbach 和首席技术官 Alex Bergman 创办,团队之前拿了 1000 万美元的种子轮融资。投资方包括 Index Ventures、Abstract、A16Z Speedrun,以及 Bilawal Sidhu、Jon Barron 等几位业内天使投资人。
1000 万美元在今天的 AI 视频赛道其实算个小数目。对比一下同行,Runway 融资拿了 2.37 亿美元,Pica 拿到 8000 万美元,Luma 拿了 7000 万美元,专注于数字人播报的 HeyGen 也有 6000 万美元,就连 Haiper 都有 1920 万美元。
钱不算多,Hedra 选择把力气集中砸在一个点上:专门攻克长视频和端到端的角色连贯性,主打社交媒体、营销展示和在线教育这类内容场景。
为什么重要
对内容创作者和出海营销团队来说,Character-3 和 Hedra Studio 最实在的价值是省时间。过去做知识讲解、营销短片或者虚拟博主,得在好几个工具之间来回倒腾素材,现在扔进一段音频和剧本就能出片,而且由于有实时预览,试错成本降了一大截。如果只是想快速做口播类或剧情类视频,现在就很值得去体验一下。
从行业竞争来看,我们认为 Hedra 走出了一条很聪明的夹缝路线。它没有拿着有限的资金去跟 Runway、Luma 硬拼宏大的全场景文生视频大模型,而是盯准了 HeyGen 身后的说话角色生态。纯文生视频虽然视觉震撼,但人物一开口往往破绽百出,且很难讲长故事;Hedra 抓住长视频和角色表达这个痛点,正好打在当下商业化视频最刚需的地方。
不过挑战也很现实。1000 万美元的种子资金在极其烧卡的视频训练领域支撑不了太久。把文本、图像、音频三者合一全模态训练固然能提升连贯性,但模型的算力开销和延时也是成倍增加的。一旦头部的通用视频大厂也把多模态联合训练补齐,Hedra 必须依靠 Studio 沉淀下来的工作流壁垒才能留住创作者。
来源 (2)
- @hedra_labs(在新标签页打开)原文twitter.com
- learnprompting.org(在新标签页打开)报道learnprompting.org