Tavus 釋出 Phoenix-4.5:134 毫秒音畫延遲,上半身能跟著說話一起動
Tavus 釋出即時人體渲染模型 Phoenix-4.5。新架構放棄區域性面部貼圖,改為單次生成包含面部、軀幹與背景的完整畫面,音畫延遲降至 134 毫秒。它還首次支援單張圖零樣本快速預覽,並將微調耗時縮短至兩小時。
過去跟 AI 視訊通話,最容易出戲的瞬間不是嘴型對不上,而是對方的身體像被水泥澆鑄了一樣,只有一張臉在鏡頭前機械地動。
Tavus 釋出的即時人像渲染模型 Phoenix-4.5,想把這種僵硬感徹底撕下來。它將音訊到影片的生成延遲壓到了 134 毫秒,比目前市面上的競品快了 25%,而且第一次讓數字人的頭、頸、肩膀和軀幹能在整幅畫面裡一起自然呼吸、說話和傾聽。
扔掉貼紙,把整個人畫出來
老版本 Phoenix-4 的底層邏輯,其實是在事先錄好的身體影片上,單獨生成一塊大約 512×512 畫素的面部區域貼上去。這種做法雖然省算力,但缺陷很明顯,面部邊緣容易穿幫,身體只能保持死板,說話再激動也是縮頭縮腦。
Phoenix-4.5 徹底推翻了區域性拼接的架構,重寫了一套基於生成對抗網路的渲染器。它不再分層處理,而是在單次推理中直接生成完整畫幅,把臉、頭髮、脖子、肩膀甚至衣服和背景一併畫出來。
沒有了邊緣拼接的限制,身體的肢體語言終於被釋放了出來。AI 說話時頭部會隨著重音自然晃動,肩膀和軀幹會跟著語調起伏。更關鍵的是在別人說話時,模型能同時聽雙方的聲音,保持眼神流轉、點頭和微表情等主動傾聽動作,而不是講完話就瞬間卡回呆滯狀態。
從實測指標看,新模型的唇形同步準確度提升了 16%,動作生動度指標拉高到了原來的 1.3 倍,影片質量指標也有明顯改善。
一分鐘出預覽,長髮眼鏡不再翻車
除了動起來更像真人,新模型在克隆和訓練流程上也做了一次大改動。
以前要想生成一個特定形象,必須先經過漫長的專屬訓練。Phoenix-4.5 成了該系列首個支援零樣本渲染的模型,只要給一張照片或一段影片,大約一分鐘就能跑出即時互動的預覽版本。在官方的人工盲測偏好評分中,僅僅是零樣本預覽版的得分就達到了 1002,直接超越了精調後的老款模型。
真正的完整精調則被轉入後臺靜默執行,所需時間從上一代的 4 小時縮短到 2 小時。精調完成後,評分會進一步衝上 1069。
容錯率也得到了解決。以前如果真人戴眼鏡、掛誇張耳環或者留披肩長髮,遮擋面部邊緣就極易導致訓練崩潰。在新架構下,此前在老模型上訓練失敗的形象,有 64% 在 Phoenix-4.5 上直接訓練成功。
為什麼重要
我們認為,Phoenix-4.5 的核心價值在於它讓即時影片互動 AI 跨過了從玩具到可用的臨界點。
對於做 AI 客服、虛擬伴侶或者即時銷售 Agent 的團隊來說,134 毫秒意味著它能真正無縫嵌入到雙向電話或視訊會議裡。如果只是拿來看一段預渲染的影片,現在的數字人早就過關了;但一旦到了即時對談,延遲只要超過兩三百毫秒,身體只要一動不動,人的違和感就會瞬間拉滿。一分鐘零樣本出預覽的特性,也讓小團隊或獨立開發者快速驗證創意的門檻低了一大截。
從行業競爭來看,Tavus 正在用全畫幅一體化生成去逼迫整個賽道放棄打補丁的方案。過去大家為了保住延遲,幾乎都在做面部貼圖和換嘴型,現在 Tavus 證明了連帶軀幹一起做端到端即時生成不僅可行,甚至速度還能更快,這會迫使同行加快底座架構的推倒重來。
不過在我們看來,這一步也有隱患。全畫幅生成的算力開銷和頻寬消耗必然高於區域性貼圖,雖然官方在端到端耗時上拿出了亮眼數字,但在大規模高併發請求下,單位呼叫成本究竟能否支撐普通中小客戶長期跑下去,目前還要打個問號。但無論如何,能讓 AI 在對話裡像個真人一樣聳肩和呼吸,這方向顯然走對了。
來源 (1)
- tavus.io(在新分頁開啟)原文tavus.io