跳到正文
IFAI

大模型

Tavus 发布三款对话视频模型:表情感知全包,对话卡顿大幅改善

首次发布 传播指数 55

Tavus 推出 Phoenix-3、Raven-0 与 Sparrow-0 三款对话式视频模型并开放 API。三者分别处理高精度面部微表情、实时视觉感知与对话轮换时机,配合智能体 Charlie 可边看屏幕边自然对话,大幅减少了数字人交谈时的生硬停顿。

Tavus 发布三款对话视频模型:表情感知全包,对话卡顿大幅改善
图:x.com

视频通话时最让人出戏的,往往不是画质不够高,而是对方卡顿的眼神、慢半拍的接话,或者你说完之后那段令人尴尬的死寂。

做对话式视频界面的 Tavus 想把这层假人感撕掉。3 月 6 日,Tavus 正式推出三款全新的 AI 底层模型,分别是 Phoenix-3、Raven-0 和 Sparrow-0,并且当天就通过 API 全面开放。

这三款模型分工极细,目的只有一个:让数字人跟真人视频通话时,不再像是在读提词器。

拆解三款模型:表情、眼睛与搭话节奏

负责皮囊和表情的是 Phoenix-3。这是一个全脸动画模型,专攻微表情与口型同步。

它不仅能做到对齐口型,还能在保持人物原本容貌特征的前提下,根据对话上下文产生连续的情绪反应,让数字人的喜怒哀乐顺畅流动,而不是上一秒微笑、下一秒突然面瘫。

光有表情还不够,AI 必须能看懂你。视觉感知模型 Raven-0 扮演了数字人的眼睛。

它能实时感知环境和画面中的视觉线索,比如直接读出屏幕上的文字、识别你的手势,甚至捕捉你的面部情绪变化,从而根据你的反应做出即时互动。

但最击中行业痛点的,其实是负责接话节奏的 Sparrow-0。

跟数字人聊天最怕抢话或冷场。Sparrow-0 专门优化了对话轮换的节奏与语流,能准确判断你什么时候说完了、什么时候只是稍作停顿。在衡量接话准确度的 Turn Accuracy 指标上,它的平均绝对误差仅为 0.3989,相比此前行业最优的 1.7467,误差直接缩减了一大截。

在 Tavus 的对话视频系统里,这三款模型共同串起了一条实时思维链。官方展示的 AI 助手 Charlie,已经能在视频通话中一边陪你自然闲聊,一边看你的屏幕、检索网页甚至随手生成图片。

为什么重要

对于需要搭建 AI 销售、虚拟客服或个性化导师的团队来说,这套组合极具吸引力。以前做视频数字人,要么只能播放预渲染视频,要么延迟高到没法正常对话。现在开发者只要调 API,就能组装出一个能看懂肢体动作、接话节奏舒服的实时视频助手。

我们认为,Tavus 这一步走得相当聪明。很多团队还在死磕把画面渲染得有多像好莱坞大片,但人际沟通的信任感其实建立在微小的非语言信号上:对上眼神、看懂手势、在该接话的那一刻刚好开口。把视觉感知和话轮控制单独做成模型,切中了交互体验的真实命门。

不过隐患也同样摆在眼前。实时视频生成加上视觉输入和意图推理,背后的算力消耗非常惊人。Tavus 畅想数字人会像智能手机一样普及,但在高频交互下,API 的调用延迟和账单成本能不能被普通企业甚至个人承受,依然需要打个问号。至少在目前阶段,它更适合客单价高、极其依赖面对面沟通的商业场景。

来源 (2)

  1. [1]
    @heytavus(在新标签页打开)原文twitter.com
  2. [2]

每日 AI 内容精选