跳到正文
IFAI

AIGC

Tavus 釋出數字人模型 Phoenix-4:支援即時情緒控制與微表情

首次發布 傳播指數 56

Tavus 推出即時數字人渲染模型 Phoenix-4。它能在毫秒級延遲下生成頭部運動,並支援在說話與傾聽時動態調整情緒狀態,解決了傳統數字人全程固定假笑的生硬感。這意味著即時 AI 對話的互動擬真度邁進了一大步。

Tavus 釋出數字人模型 Phoenix-4:支援即時情緒控制與微表情
圖:x.com

如果你和現在的 AI 數字人打過影片電話,大機率會覺得渾身不舒服:對方嘴唇雖然對上了,但眼睛直勾勾的,脖子僵硬,哪怕聊到讓人難過的事,嘴角還掛著焊死的一絲假笑。這種「木偶戲」感,正是數字人一直很難讓人產生真實信任的原因。

舊金山 AI 公司 Tavus 在 2 月 18 日釋出了即時人類渲染模型 Phoenix-4。他們不打算繼續做簡單的對口型,而是想給數字人裝上一套帶有「情商」的即時表情和動作引擎。

扔掉迴圈影片,從頭頂到肩膀全是即時算的

市面上大多數即時數字人的做法很偷懶:底子是一段錄好的迴圈影片,AI 只負責扣出嘴部那一小塊區域替換掉。一旦聽使用者說話,畫面就切回預製影片,結果往往是詭異的反向眨眼、毫無節奏的亂點頭。

Phoenix-4 走了一條完全不同的路線。它是一個全雙工架構,支援 1080p 解析度、40fps 即時執行,而且從頭部、肩膀到每一次眨眼,所有畫素都是即時生成的。

它的底層採用了高斯與擴散模型的混合架構(hybrid Gaussian-diffusion)。音訊流進入後,模型不僅提取發音節奏,還會結合長期記憶模組分析上下文含義;接著由擴散頭生成運動係數,最終驅動 3D 高斯潑濺(3D Gaussian Splatting)完成極低延遲的即時渲染。

這套模型放棄了行業常見的剛性預設表情引數,改用在數千小時真實人類對話資料上無監督訓練出的隱式運動空間。這樣一來,細微的微表情、轉頭時的自然停頓,都能連續順滑地展現出來。

告別焊在臉上的假笑,開發者能用提示詞調情緒

Phoenix-4 最關鍵的一點,在於把「傾聽」和「情緒」變成了可以主動控制的狀態,而不是隻對聲音波形做被動反射。

它支援超過 10 種情緒狀態的即時無縫切換,包括高興、悲傷、憤怒、驚訝、厭惡、恐懼、興奮、好奇和滿足等。開發者既可以讓數字人根據對話內容自主給出情緒反應,也可以直接通過大語言模型和提示詞來精確干預。

目前該模型已經上線 Tavus 平臺和 API,並更新了包含 40 多個新形象的預製角色庫。如果搭配他們此前推出的感知模型 Raven-1,數字人還能具備更強的即時觀察與回應能力。

為什麼重要

我們認為,Phoenix-4 代表了數字人從單純拼「畫質清晰度」轉向拼「行為擬真度」的節點。

對開發者和企業來說,它最大的價值在於真正拓寬了互動場景。過去只憑一張僵硬的笑臉,做做電商帶貨或淺層客服還行,一旦進入心理諮詢、醫療問診、深度面試這種極度依賴同理心和細微情緒反饋的領域,傳統數字人立馬露餡。Phoenix-4 允許通過 LLM 提示詞精準調控 10 種以上情緒,讓非語言層面的傾聽和共情有了落地的可能。

不過,即時算全身畫素、跑 1080p 40fps,也意味著對算力和網路頻寬的要求更為苛刻。更深層的隱患在於,當數字人不僅長得逼真,連眨眼、微表情和眼神閃爍都極具欺騙性時,深度偽造和影片詐騙的辨識難度又被推到了一個普通人極難肉眼識破的水平。對對手而言,靠裁切嘴唇做拼湊畫面的低成本打法,恐怕很快就要被淘汰了。

來源 (3)

  1. [1]
    @tavus(在新分頁開啟)原文x.com
  2. [2]
    tavus.io(在新分頁開啟)報導tavus.io
  3. [3]

每日 AI 內容精選