跳到正文
IFAI

AIGC

Tavus 在 fal 上線 Hummingbird-0:主打高精度零樣本唇形同步

首次發布 傳播指數 35

Tavus 在 fal 平臺上線唇形同步模型 Hummingbird-0 的研究預覽版。官方稱這是其測試過精度最高的零樣本唇形同步模型,表現超過同類開源與閉源方案。這意味著影片對口型效果將更逼真自然,目前處於研究預覽階段。

Tavus 在 fal 上線 Hummingbird-0:主打高精度零樣本唇形同步
圖:x.com

AI 換嘴型最怕的就是像腹語表演,聲音出來了,嘴唇還在各動各的。

Tavus 最近在 FAL 平臺上釋出了全新的口型同步模型 Hummingbird-0。官方目前以研究預覽版的形式開放測試。

瞄準零樣本對嘴

Tavus 表示,在他們測試過的所有開源和閉源方案中,Hummingbird-0 是目前精準度最高的零樣本口型同步模型。

所謂零樣本,簡單說就是給它一段音訊和一個人物畫面,不用事先拿特定說話人的大量素材去微調訓練,模型就能直接把口型和聲音嚴絲合縫地對上。

為什麼重要

對做多語言影片本地化和虛擬數字人的團隊來說,口型貼合度直接決定了影片能不能看。過去很多方案要麼需要預先微調,要麼在複雜表情和發音下很容易崩壞。

如果 Hummingbird-0 真的能在完全零樣本的前提下做到第一梯隊的效果,影片多語種翻拍和後期配音的成本會明顯降低。我們認為,Tavus 選擇直接丟到 FAL 上做研究預覽很務實,能最快吸引開發者拿各種刁鑽角度的影片去壓力測試。

不過看起來 Tavus 目前還沒有公佈詳細的評測基準對比和延遲資料,在極端光照、大角度側臉或者多語種下的穩定性究竟如何,還得看接下來社群的實際跑分。

來源 (1)

  1. [1]
    @heytavus(在新分頁開啟)原文x.com

每日 AI 內容精選