Google 升级 Gemini Live:看懂镜头还能在屏幕标重点,语音更有人味
Google 升级 Gemini Live,加入实时视觉指引功能,打开摄像头就能直接在画面上圈出推荐物品。同时打通 Calendar、Keep 等原生应用并升级语音表现力。视觉功能将于 8 月 28 日随 Pixel 10 率先落地并逐步推向 Android 与 iOS。

对着杂乱的工具箱开着摄像头,让 AI 用嘴告诉你拿哪个扳手是一回事;AI 直接在你的手机屏幕上把那个扳手高亮圈出来,就是另一回事了。
Google 宣布对 Gemini Live 展开一系列重要升级,把这个原本主打自然语音聊天的助手,推向了能看、能圈、还能随手调用手机自带应用的通用助理。新功能包括在屏幕上实时提供视觉指引、打通更多 Google 原生应用,以及让 AI 说话时带上更丰富的情绪和语调。
屏幕高亮带路,聊天中顺手发短信
这次最直观的变化是视觉指引。以往你给 Gemini 共享摄像头,它只能用语音描述它看到了什么;现在它可以在你的手机屏幕上直接标出重点。
比如面对两双球鞋拿不定主意,Gemini 会根据你想搭配的衣服,在屏幕上直接高亮出更合适的那双;在工具箱里找特定零件时,镜头扫过去,它也能直接指出对应工具。这项功能会在 8 月 28 日伴随 Pixel 10 系列发售直接上线,当周推向其他 Android 设备,未来几周内扩展至 iOS。
应用层面的整合也更深入了。即日起,Gemini Live 已经接入了 Google Calendar、Keep 和 Tasks。你在语音梳理一周日程时,可以顺口让它在 Tasks 里记一条去药房拿药的提醒,或者把想好的晚餐食谱原料加进 Keep 的购物清单。
Google 还在打通 Messages、Phone、Clock 以及更深入的 Google Maps 功能。这意味着你和 Gemini 聊到某个礼物很合适时,可以直接插一句「就买这个,打给我爸让他顺路拿一下」;或者在查地铁路线途中,直接让它起草一条短信通知朋友自己会迟到十分钟,期间不需要退出对话或手动切换应用。
声音懂起伏,还能角色扮演
除了视觉和应用,Google 接下来几周还会给 Gemini Live 推送新的语音模型,重点改善人类说话时的语调、节奏和音高。
升级后,Gemini 会根据对话内容调整语气。如果你正在聊一件让人焦虑烦躁的事,它的声音会变得更加沉稳和克制。用户还能即时要求它放慢语速方便记笔记,或者在赶时间时让它讲快一点。
更有意思的是戏剧化叙事能力。你可以让它以恺撒的口吻和特色口音,第一人称给你讲一段罗马帝国的故事,声音表现力会比过去平板单调的朗读生动不少。
为什么重要
对普通用户来说,在屏幕上直接高亮物体的视觉引导,终于让拿着手机到处照有了实用价值。语音指路经常会遇到「到底是你说的左边还是我的左边」的尴尬,直接在画面上圈出来,修水管、挑衣服或找东西的门槛低了一大截。
我们认为,Google 这步棋下得很准,它正在把底层的多模态技术和自家的原生应用全家桶咬合在一起。像 OpenAI 这样的对手可以在模型智商和语音拟人度上逼得很紧,但在手机本地同时无缝调动日历、短信、电话和地图,依然是拥有移动操作系统统治权的巨头才拥有的壁垒。
不过,这种全流程语音代办也潜藏着风险。查路线时顺嘴发短信、聊到一半直接拨打电话,对语音意图识别的容错率提出了极高要求。一旦误发信息或者拨错号码,用户建立起来的信任很快就会被打破,它能不能真正成为主力助手,就看正式推向海量设备后的实际误触率了。
来源 (1)
- blog.google(在新标签页打开)原文blog.google