跳到正文
IFAI

AI工具

Google 升级 Android AI:画圈即可解题,Gemini 支持端侧防诈

首次发布 传播指数 39

Google 升级 Android 系统级 AI 功能。「即圈即搜」新增作业辅导,圈选即可分步解数学和物理题;Gemini 浮层支持直接提问 YouTube 视频与 PDF;多模态 Gemini Nano 还将在端侧提供通话防诈与图像描述。

Google 升级 Android AI:画圈即可解题,Gemini 支持端侧防诈
图:blog.google

想象一下,你正接通一个自称是银行客服的电话,对方催你赶紧把钱转走,你的手机屏幕上突然弹出一行红字:小心,这大概率是骗子。

在 5 月 14 日的 Google I/O 上,Google 宣布把 AI 更深地塞进 Android 底层。这次的主角是跑在手机本地的 Gemini Nano,以及围绕屏幕感知的一整套系统级更新。

屏幕上的东西,AI 全都能看见

先来看看最直接的变化。现在画圈搜索(Circle to Search)不只能查图,还能辅导功课了。学生遇到卡壳的物理题或数学应用题,用手圈一下,系统会给出循序渐进的解题步骤,而不是直接甩一个最终答案。

这套能力来自 Google 的教育微调模型 LearnLM。官方表示画圈搜索目前已经覆盖了超过 1 亿台设备,预计到今年年底翻倍至 2 亿台。今年晚些时候,它还能直接读懂复杂的符号公式和图表。

此外,Gemini 的浮窗也能看懂你当前的应用。比如看 YouTube 视频时可以点「Ask this video」直接问视频里的细节;Gemini Advanced 用户甚至能对屏幕上的长 PDF 直接提问,不用自己一页页翻。生成的图片也能顺手拖拽进 Gmail 或信息里。

让本地模型听电话、看世界

更值得关注的是端侧模型 Gemini Nano 的多模态升级。以前在手机本地主要跑文本,今年晚些时候它会先在 Pixel 上支持视觉、声音和口语等多模态输入。

端侧多模态落地最快的是无障碍功能 TalkBack。数据显示盲人和低视力用户平均每天会遇到 90 张没有任何文字说明的图片。Gemini Nano 可以在手机本地直接识别亲友照片里的细节,或者网购页面里衣服的剪裁风格,断网也能秒出描述。

防诈骗也是一个亮眼的测试功能。据报告全球每年因诈骗造成的损失超过 1 万亿美元。Google 正在测试用 Gemini Nano 在后台实时监听通话,一旦识别出骗子常用的套路,比如冒充银行人员索要密码、要求用礼品卡付款或紧急转账,就会立即弹窗提醒。Google 强调这是完全在端侧本地处理的可选功能,音频数据不会上传。

为什么重要

对于普通用户来说,防诈骗和作业辅导是极其接地气的场景。它不需要你专门打开一个聊天框去写 prompt,而是嵌入在接电话、看视频、写作业这些现成习惯里。尤其是通话防诈,如果家里长辈的手机能自动挡掉忽悠,这可能比一百个生成式写作工具都管用。

对行业来说,Google 正在明确端侧 AI 的边界:必须兼顾隐私和无延迟。通话监听这种极度敏感的功能,如果放云端处理,隐私争议足以杀死这项功能。只有做成纯端侧推理,才可能在法务和用户信任上立得住脚。

我们认为,Google 这步棋下得非常务实。它不再跟对手卷谁的模型参数更大,而是比谁能把系统级权限利用得更彻底。隐患在于误报率,如果接个正常快递或亲友借钱电话动不动跳诈骗警报,用户很快就会关掉它。怎么把控敏感度,是这套系统真正上线前最大的考验。

来源 (1)

  1. [1]
    blog.google(在新标签页打开)原文blog.google

每日 AI 内容精选