跳到正文
IFAI

AI工具

Google 升級 Gemini Live:看懂鏡頭還能在螢幕標重點,語音更有人味

首次發布 傳播指數 40

Google 升級 Gemini Live,加入即時視覺指引功能,開啟攝像頭就能直接在畫面上圈出推薦物品。同時打通 Calendar、Keep 等原生應用並升級語音表現力。視覺功能將於 8 月 28 日隨 Pixel 10 率先落地並逐步推向 Android 與 iOS。

Google 升級 Gemini Live:看懂鏡頭還能在螢幕標重點,語音更有人味
圖:blog.google

對著雜亂的工具箱開著攝像頭,讓 AI 用嘴告訴你拿哪個扳手是一回事;AI 直接在你的手機螢幕上把那個扳手高亮圈出來,就是另一回事了。

Google 宣佈對 Gemini Live 展開一系列重要升級,把這個原本主打自然語音聊天的助手,推向了能看、能圈、還能隨手呼叫手機自帶應用的通用助理。新功能包括在螢幕上即時提供視覺指引、打通更多 Google 原生應用,以及讓 AI 說話時帶上更豐富的情緒和語調。

螢幕高亮帶路,聊天中順手發簡訊

這次最直觀的變化是視覺指引。以往你給 Gemini 共享攝像頭,它只能用語音描述它看到了什麼;現在它可以在你的手機螢幕上直接標出重點。

比如面對兩雙球鞋拿不定主意,Gemini 會根據你想搭配的衣服,在螢幕上直接高亮出更合適的那雙;在工具箱裡找特定零件時,鏡頭掃過去,它也能直接指出對應工具。這項功能會在 8 月 28 日伴隨 Pixel 10 系列發售直接上線,當週推向其他 Android 裝置,未來幾週內擴充套件至 iOS。

應用層面的整合也更深入了。即日起,Gemini Live 已經接入了 Google Calendar、Keep 和 Tasks。你在語音梳理一週日程時,可以順口讓它在 Tasks 裡記一條去藥房拿藥的提醒,或者把想好的晚餐食譜原料加進 Keep 的購物清單。

Google 還在打通 Messages、Phone、Clock 以及更深入的 Google Maps 功能。這意味著你和 Gemini 聊到某個禮物很合適時,可以直接插一句「就買這個,打給我爸讓他順路拿一下」;或者在查地鐵路線途中,直接讓它起草一條簡訊通知朋友自己會遲到十分鐘,期間不需要退出對話或手動切換應用。

聲音懂起伏,還能角色扮演

除了視覺和應用,Google 接下來幾週還會給 Gemini Live 推送新的語音模型,重點改善人類說話時的語調、節奏和音高。

升級後,Gemini 會根據對話內容調整語氣。如果你正在聊一件讓人焦慮煩躁的事,它的聲音會變得更加沉穩和剋制。使用者還能即時要求它放慢語速方便記筆記,或者在趕時間時讓它講快一點。

更有意思的是戲劇化敘事能力。你可以讓它以愷撒的口吻和特色口音,第一人稱給你講一段羅馬帝國的故事,聲音表現力會比過去平板單調的朗讀生動不少。

為什麼重要

對普通使用者來說,在螢幕上直接高亮物體的視覺引導,終於讓拿著手機到處照有了實用價值。語音指路經常會遇到「到底是你說的左邊還是我的左邊」的尷尬,直接在畫面上圈出來,修水管、挑衣服或找東西的門檻低了一大截。

我們認為,Google 這步棋下得很準,它正在把底層的多模態技術和自家的原生應用全家桶咬合在一起。像 OpenAI 這樣的對手可以在模型智商和語音擬人度上逼得很緊,但在手機本地同時無縫調動日曆、簡訊、電話和地圖,依然是擁有移動作業系統統治權的巨頭才擁有的壁壘。

不過,這種全流程語音代辦也潛藏著風險。查路線時順嘴發簡訊、聊到一半直接撥打電話,對語音意圖識別的容錯率提出了極高要求。一旦誤發信息或者撥錯號碼,使用者建立起來的信任很快就會被打破,它能不能真正成為主力助手,就看正式推向海量裝置後的實際誤觸率了。

來源 (1)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google

每日 AI 內容精選