跳到正文
IFAI

AIGC

Tavus 在 fal 上线 Hummingbird-0:主打高精度零样本唇形同步

首次发布 传播指数 35

Tavus 在 fal 平台上线唇形同步模型 Hummingbird-0 的研究预览版。官方称这是其测试过精度最高的零样本唇形同步模型,表现超过同类开源与闭源方案。这意味着视频对口型效果将更逼真自然,目前处于研究预览阶段。

Tavus 在 fal 上线 Hummingbird-0:主打高精度零样本唇形同步
图:x.com

AI 换嘴型最怕的就是像腹语表演,声音出来了,嘴唇还在各动各的。

Tavus 最近在 FAL 平台上发布了全新的口型同步模型 Hummingbird-0。官方目前以研究预览版的形式开放测试。

瞄准零样本对嘴

Tavus 表示,在他们测试过的所有开源和闭源方案中,Hummingbird-0 是目前精准度最高的零样本口型同步模型。

所谓零样本,简单说就是给它一段音频和一个人物画面,不用事先拿特定说话人的大量素材去微调训练,模型就能直接把口型和声音严丝合缝地对上。

为什么重要

对做多语言视频本地化和虚拟数字人的团队来说,口型贴合度直接决定了视频能不能看。过去很多方案要么需要预先微调,要么在复杂表情和发音下很容易崩坏。

如果 Hummingbird-0 真的能在完全零样本的前提下做到第一梯队的效果,视频多语种翻拍和后期配音的成本会明显降低。我们认为,Tavus 选择直接丢到 FAL 上做研究预览很务实,能最快吸引开发者拿各种刁钻角度的视频去压力测试。

不过看起来 Tavus 目前还没有公布详细的评测基准对比和延迟数据,在极端光照、大角度侧脸或者多语种下的稳定性究竟如何,还得看接下来社区的实际跑分。

来源 (1)

  1. [1]
    @heytavus(在新标签页打开)原文x.com

每日 AI 内容精选