Tavus 釋出多模態系統 Raven-1：即時讀懂語氣與表情，延遲不到 300 毫秒

當你說出一句「我沒事」的時候，對面的人一眼就能看出你是在強撐還是真沒放在心上。但如果對面坐的是 AI，這句話被轉寫成文本傳給大模型，所有語氣、嘆氣、眼神遊移就全被磨平了。

Tavus 推出的多模態感知系統 Raven-1，想解決的就是這個斷層。它能在對話過程中即時捕捉使用者的聲音語調、面部神態、停頓猶豫和周圍環境，把 AI 聽話的方式從「看字幕」變成「看真人」。

別把情緒做成單選題

現在的對話 AI 最大的尷尬，不是寫不出漂亮句子，而是不懂看人臉色。大部分系統全靠語音轉文字來理解世界，但人類面對面交流時，字面意思往往只佔很小一部分。

一句諷刺、一聲輕嘆、思考時的沉默，或者嘴上客氣微笑但眼神早就飄向別處，一旦經過轉寫，全都成了冰冷統一的字串。傳統的情緒識別方案更死板，往往試圖用預設的標籤去套，把人歸類為「高興」「悲傷」或「憤怒」。

問題是真實的人性哪有這麼非黑即白。一個人完全可以在一句話裡同時感到挫敗又帶著希望，也可以一邊禮貌回應一邊分心多工。在之前的 Raven-0 裡，Tavus 給 AI 裝上了能觀察身體前傾、手勢等視覺畫面的眼睛；到了 Raven-1，團隊把視覺、音訊和時間動態捏成了一體，去捕捉情緒在幾百毫秒內的連續流動。

用人話給大模型打小抄

Raven-1 最有意思的設計在於它的輸出方式。它不給大模型返回生硬的情緒代號或打分，而是直接吐出人類能看懂、大模型能直接理解的自然語言描述。

比如在檢測到一段語音和畫面後，它給後續大模型的提示可能是「說話人聽起來有些驚訝，帶著一絲懷疑，同時還有點調侃」，或者是「使用者顯得心不在焉，眼神看著螢幕外面，回答非常簡短」。這樣下游的大模型不用經過任何中間層翻譯，就能像人一樣根據上下文即時調整語氣。

在速度上，Raven-1 的純音訊感知延遲在 100 毫秒以內，音畫結合的完整感知鏈路把上下文延遲壓在 300 毫秒以內。它還支援句子級別的情緒流追蹤，哪怕一句話前頭是煩躁、後頭轉為接受，系統也能敏銳識別出這個敘事曲線。

同時它支援類似 OpenAI 的工具呼叫架構，開發者可以設定特定事件，比如聽到使用者大笑或發現注意力渙散時自動觸發回撥。除了 Raven-1，Tavus 還同步拿出了即時人類形象渲染模型 Phoenix-4，並開放了開發者 API 與 PALs 伴侶平臺。

為什麼重要

對於正在做 AI 伴侶、數字人客服或者口語教練的開發者來說，Raven-1 提供的介面非常值得現在就去嘗試。過去要讓數字人看起來不那麼像個念稿機器人，往往需要串聯好幾個離散模型，延遲高不說，情緒還經常錯位。現在它直接把感知結果變成自然語言小抄，開發者只要調現成的介面，就能低門檻換來完全不同的互動質感。

從行業角度看，Tavus 正在推動即時對話 AI 從「多模態生成」倒逼走向「原生多模態感知」。過去兩年行業把注意力全放在讓模型怎麼說話更像真人、形象怎麼渲染得更逼真上，也就是輸入很簡陋，全靠輸出硬撐。Raven-1 證明了要想讓對話不令人出戲，前端必須先擁有不丟訊號的感知能力。

我們認為 Tavus 最聰明的地方是放棄了傳統的情緒分類樹，改用自然語言來描述人類心理狀態。標籤總是窮盡不了情緒的複雜度，但大語言模型天生最擅長閱讀帶細微差別的文字描述。

不過隱患也同樣明顯。音畫即時融合分析非常消耗端側或邊緣算力，對網路穩定性的要求極高。如果網路抖動導致上下文延遲突破 300 毫秒，AI 對微表情的反應一旦滯後，非但不會顯得懂你，反而會瞬間跌入令人毛骨悚然的「恐怖谷」。