跳到正文
IFAI

AI工具

Google 升級 Android AI:畫圈即可解題,Gemini 支援端側防詐

首次發布 傳播指數 39

Google 升級 Android 系統級 AI 功能。「即圈即搜」新增作業輔導,圈選即可分步解數學和物理題;Gemini 浮層支援直接提問 YouTube 影片與 PDF;多模態 Gemini Nano 還將在端側提供通話防詐與影像描述。

Google 升級 Android AI:畫圈即可解題,Gemini 支援端側防詐
圖:blog.google

想像一下,你正接通一個自稱是銀行客服的電話,對方催你趕緊把錢轉走,你的手機螢幕上突然彈出一行紅字:小心,這大機率是騙子。

在 5 月 14 日的 Google I/O 上,Google 宣佈把 AI 更深地塞進 Android 底層。這次的主角是跑在手機本地的 Gemini Nano,以及圍繞螢幕感知的一整套系統級更新。

螢幕上的東西,AI 全都能看見

先來看看最直接的變化。現在畫圈搜尋(Circle to Search)不只能查圖,還能輔導功課了。學生遇到卡殼的物理題或數學應用題,用手圈一下,系統會給出循序漸進的解題步驟,而不是直接甩一個最終答案。

這套能力來自 Google 的教育微調模型 LearnLM。官方表示畫圈搜尋目前已經覆蓋了超過 1 億臺裝置,預計到今年年底翻倍至 2 億臺。今年晚些時候,它還能直接讀懂複雜的符號公式和圖表。

此外,Gemini 的浮窗也能看懂你當前的應用。比如看 YouTube 影片時可以點「Ask this video」直接問影片裡的細節;Gemini Advanced 使用者甚至能對螢幕上的長 PDF 直接提問,不用自己一頁頁翻。生成的圖片也能順手拖拽進 Gmail 或資訊裡。

讓本地模型聽電話、看世界

更值得關注的是端側模型 Gemini Nano 的多模態升級。以前在手機本地主要跑文本,今年晚些時候它會先在 Pixel 上支援視覺、聲音和口語等多模態輸入。

端側多模態落地最快的是無障礙功能 TalkBack。資料顯示盲人和低視力使用者平均每天會遇到 90 張沒有任何文字說明的圖片。Gemini Nano 可以在手機本地直接識別親友照片裡的細節,或者網購頁面裡衣服的剪裁風格,斷網也能秒出描述。

防詐騙也是一個亮眼的測試功能。據報告全球每年因詐騙造成的損失超過 1 萬億美元。Google 正在測試用 Gemini Nano 在後臺即時監聽通話,一旦識別出騙子常用的套路,比如冒充銀行人員索要密碼、要求用禮品卡付款或緊急轉賬,就會立即彈窗提醒。Google 強調這是完全在端側本地處理的可選功能,音訊資料不會上傳。

為什麼重要

對於普通使用者來說,防詐騙和作業輔導是極其接地氣的場景。它不需要你專門開啟一個聊天框去寫 prompt,而是嵌入在接電話、看影片、寫作業這些現成習慣裡。尤其是通話防詐,如果家裡長輩的手機能自動擋掉忽悠,這可能比一百個生成式寫作工具都管用。

對行業來說,Google 正在明確端側 AI 的邊界:必須兼顧隱私和無延遲。通話監聽這種極度敏感的功能,如果放雲端處理,隱私爭議足以殺死這項功能。只有做成純端側推理,才可能在法務和使用者信任上立得住腳。

我們認為,Google 這步棋下得非常務實。它不再跟對手卷誰的模型引數更大,而是比誰能把系統級許可權利用得更徹底。隱患在於誤報率,如果接個正常快遞或親友借錢電話動不動跳詐騙警報,使用者很快就會關掉它。怎麼把控敏感度,是這套系統真正上線前最大的考驗。

來源 (1)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google

每日 AI 內容精選