Tavus 发布 Phoenix-4.5:134 毫秒音画延迟,上半身能跟着说话一起动
Tavus 发布实时人体渲染模型 Phoenix-4.5。新架构放弃局部面部贴图,改为单次生成包含面部、躯干与背景的完整画面,音画延迟降至 134 毫秒。它还首次支持单张图零样本快速预览,并将微调耗时缩短至两小时。
过去跟 AI 视频通话,最容易出戏的瞬间不是嘴型对不上,而是对方的身体像被水泥浇铸了一样,只有一张脸在镜头前机械地动。
Tavus 发布的实时人像渲染模型 Phoenix-4.5,想把这种僵硬感彻底撕下来。它将音频到视频的生成延迟压到了 134 毫秒,比目前市面上的竞品快了 25%,而且第一次让数字人的头、颈、肩膀和躯干能在整幅画面里一起自然呼吸、说话和倾听。
扔掉贴纸,把整个人画出来
老版本 Phoenix-4 的底层逻辑,其实是在事先录好的身体视频上,单独生成一块大约 512×512 像素的面部区域贴上去。这种做法虽然省算力,但缺陷很明显,面部边缘容易穿帮,身体只能保持死板,说话再激动也是缩头缩脑。
Phoenix-4.5 彻底推翻了局部拼接的架构,重写了一套基于生成对抗网络的渲染器。它不再分层处理,而是在单次推理中直接生成完整画幅,把脸、头发、脖子、肩膀甚至衣服和背景一并画出来。
没有了边缘拼接的限制,身体的肢体语言终于被释放了出来。AI 说话时头部会随着重音自然晃动,肩膀和躯干会跟着语调起伏。更关键的是在别人说话时,模型能同时听双方的声音,保持眼神流转、点头和微表情等主动倾听动作,而不是讲完话就瞬间卡回呆滞状态。
从实测指标看,新模型的唇形同步准确度提升了 16%,动作生动度指标拉高到了原来的 1.3 倍,视频质量指标也有明显改善。
一分钟出预览,长发眼镜不再翻车
除了动起来更像真人,新模型在克隆和训练流程上也做了一次大改动。
以前要想生成一个特定形象,必须先经过漫长的专属训练。Phoenix-4.5 成了该系列首个支持零样本渲染的模型,只要给一张照片或一段视频,大约一分钟就能跑出实时互动的预览版本。在官方的人工盲测偏好评分中,仅仅是零样本预览版的得分就达到了 1002,直接超越了精调后的老款模型。
真正的完整精调则被转入后台静默运行,所需时间从上一代的 4 小时缩短到 2 小时。精调完成后,评分会进一步冲上 1069。
容错率也得到了解决。以前如果真人戴眼镜、挂夸张耳环或者留披肩长发,遮挡面部边缘就极易导致训练崩溃。在新架构下,此前在老模型上训练失败的形象,有 64% 在 Phoenix-4.5 上直接训练成功。
为什么重要
我们认为,Phoenix-4.5 的核心价值在于它让实时视频交互 AI 跨过了从玩具到可用的临界点。
对于做 AI 客服、虚拟伴侣或者实时销售 Agent 的团队来说,134 毫秒意味着它能真正无缝嵌入到双向电话或视频会议里。如果只是拿来看一段预渲染的视频,现在的数字人早就过关了;但一旦到了实时对谈,延迟只要超过两三百毫秒,身体只要一动不动,人的违和感就会瞬间拉满。一分钟零样本出预览的特性,也让小团队或独立开发者快速验证创意的门槛低了一大截。
从行业竞争来看,Tavus 正在用全画幅一体化生成去逼迫整个赛道放弃打补丁的方案。过去大家为了保住延迟,几乎都在做面部贴图和换嘴型,现在 Tavus 证明了连带躯干一起做端到端实时生成不仅可行,甚至速度还能更快,这会迫使同行加快底座架构的推倒重来。
不过在我们看来,这一步也有隐患。全画幅生成的算力开销和带宽消耗必然高于局部贴图,虽然官方在端到端耗时上拿出了亮眼数字,但在大规模高并发请求下,单位调用成本究竟能否支撑普通中小客户长期跑下去,目前还要打个问号。但无论如何,能让 AI 在对话里像个真人一样耸肩和呼吸,这方向显然走对了。
来源 (1)
- tavus.io(在新标签页打开)原文tavus.io