跳到正文
IFAI

大模型

Google 推出 Gemini 3.8 实时头像:视听一体交互,支持 97 种语言

首次发布 传播指数 50

Google 推出 Gemini 3.8 Live with Live Avatar,上线 Gemini Enterprise。该功能将近实时视频生成与语音结合,带来能听、能看、能说的动态数字人,支持 97 种语言对口型同步与表情适配,并能在后台异步调用工具的同时保持对话不中断。

Google 推出 Gemini 3.8 实时头像:视听一体交互,支持 97 种语言
图:blog.google

对着黑底白字的聊天框敲键盘,或者对着一个跳动的声波圆圈自言自语,很快就要变成老黄历了。

Google 宣布在 Gemini 3.8 Live 的基础上推出 Live Avatar 功能。这套系统把近实时的视频生成和原生语音模型绑在一起,直接捏出了一个能听、能看、还能面对面跟你说话的动态数字人。

这项功能目前已经面向 Gemini Enterprise 企业客户开放。

97 种语言无缝切,还能一边聊天一边在后台查房

很多人对虚拟客服的印象,还停留在僵硬的假人和对不上的嘴型。Google 这次想解决的正是这两个毛病。

Live Avatar 主打高精度的嘴型同步和自然神态,而且支持顺畅的双向打断和轮流发言。它不光能听你的声音,还能同时看你这边的画面,根据视觉和声音信号一起组织回应。

更有意思的是它的多语言能力。系统支持 97 种语言的原生语音到语音同步,即使在对话中途突然换了一种语言,数字人的口型和表情也会动态跟着变,不会出现视频画质缩水或者面部变形跑偏的情况。

技术上最实用的一点,大概是异步工具调用。以前很多智能体一旦去后台查数据,整个界面就会陷入尴尬的沉默;而 Live Avatar 可以在后台偷偷调接口、查数据的同时,嘴上继续陪着客户闲聊,让整个对话节奏完全不断档。

Google 在演示中展示了一个酒店办理入住的场景,AI 一边核验住客信息并办理手续,一边微笑着跟客人寒暄,体验非常顺滑。

形象定制方面,企业除了可以用现成的角色库,还能直接喂给它一张高质量参考图,让系统按图捏出一个同样画风的专属数字人。不过 Google 表示,自定义形象目前必须先申请企业白名单才能用。另外为了防止被用来造假,所有生成的音频和视频都直接打上了看不见的 SynthID 数字水印。

为什么重要

这套东西对企业来说,吸引力是显而易见的。特别是搞酒店、银行、零售客服以及做互动导览的公司,拿它来替代现在的语音自助系统,交互质感能直接翻倍。单张图片就能生成专属形象,也极大压低了小品牌定制虚拟员工的成本门槛。

行业层面,Google 实际上是在拉高企业级多模态交互的竞争门槛。以前大家比的是谁的模型反应更快、延迟更低;现在 Google 直接把战线拉到了实时视频渲染与原生语音的结合上,逼着对手必须在多模态实时生成上跟进。

我们认为,Google 最聪明的一步是做了异步工具调用。很多做数字人的团队容易把精力全耗在脸好不好看上,却忘了企业级应用最核心的是办事能力;在后台查数据的同时保持前台对话不断流,才算真正把数字人从一个好看的皮囊变成了能干活的员工。

但隐患也很明确。目前实时视频流的推流和生成成本极高,企业大规模上线的账单恐怕不会便宜。而且哪怕有 SynthID 水印,如此逼真的单图生成数字人一旦被滥用,在社会工程学诈骗和伪造身份上的风险依然不可忽视。

来源 (1)

  1. [1]
    blog.google(在新标签页打开)原文blog.google

每日 AI 内容精选