Tavus 釋出三款對話影片模型:表情感知全包,對話卡頓大幅改善
Tavus 推出 Phoenix-3、Raven-0 與 Sparrow-0 三款對話式影片模型並開放 API。三者分別處理高精度面部微表情、即時視覺感知與對話輪換時機,配合智慧體 Charlie 可邊看螢幕邊自然對話,大幅減少了數字人交談時的生硬停頓。

視訊通話時最讓人出戲的,往往不是畫質不夠高,而是對方卡頓的眼神、慢半拍的接話,或者你說完之後那段令人尷尬的死寂。
做對話式影片介面的 Tavus 想把這層假人感撕掉。3 月 6 日,Tavus 正式推出三款全新的 AI 底層模型,分別是 Phoenix-3、Raven-0 和 Sparrow-0,並且當天就通過 API 全面開放。
這三款模型分工極細,目的只有一個:讓數字人跟真人視訊通話時,不再像是在讀提詞器。
拆解三款模型:表情、眼睛與搭話節奏
負責皮囊和表情的是 Phoenix-3。這是一個全臉動畫模型,專攻微表情與口型同步。
它不僅能做到對齊口型,還能在保持人物原本容貌特徵的前提下,根據對話上下文產生連續的情緒反應,讓數字人的喜怒哀樂順暢流動,而不是上一秒微笑、下一秒突然面癱。
光有表情還不夠,AI 必須能看懂你。視覺感知模型 Raven-0 扮演了數字人的眼睛。
它能即時感知環境和畫面中的視覺線索,比如直接讀出螢幕上的文字、識別你的手勢,甚至捕捉你的面部情緒變化,從而根據你的反應做出即時互動。
但最擊中行業痛點的,其實是負責接話節奏的 Sparrow-0。
跟數字人聊天最怕搶話或冷場。Sparrow-0 專門優化了對話輪換的節奏與語流,能準確判斷你什麼時候說完了、什麼時候只是稍作停頓。在衡量接話準確度的 Turn Accuracy 指標上,它的平均絕對誤差僅為 0.3989,相比此前行業最優的 1.7467,誤差直接縮減了一大截。
在 Tavus 的對話影片系統裡,這三款模型共同串起了一條即時思維鏈。官方展示的 AI 助手 Charlie,已經能在視訊通話中一邊陪你自然閒聊,一邊看你的螢幕、檢索網頁甚至隨手生成圖片。
為什麼重要
對於需要搭建 AI 銷售、虛擬客服或個性化導師的團隊來說,這套組合極具吸引力。以前做影片數字人,要麼只能播放預渲染影片,要麼延遲高到沒法正常對話。現在開發者只要調 API,就能組裝出一個能看懂肢體動作、接話節奏舒服的即時影片助手。
我們認為,Tavus 這一步走得相當聰明。很多團隊還在死磕把畫面渲染得有多像好萊塢大片,但人際溝通的信任感其實建立在微小的非語言訊號上:對上眼神、看懂手勢、在該接話的那一刻剛好開口。把視覺感知和話輪控制單獨做成模型,切中了互動體驗的真實命門。
不過隱患也同樣擺在眼前。即時影片生成加上視覺輸入和意圖推理,背後的算力消耗非常驚人。Tavus 暢想數字人會像智慧手機一樣普及,但在高頻互動下,API 的呼叫延遲和賬單成本能不能被普通企業甚至個人承受,依然需要打個問號。至少在目前階段,它更適合客單價高、極其依賴面對面溝通的商業場景。
來源 (2)
- @heytavus(在新分頁開啟)原文twitter.com
- testingcatalog.com(在新分頁開啟)報導testingcatalog.com