跳到正文
IFAI

大模型

Google 升级 Gemini 3.5 Flash:内置电脑操作工具,跨桌面与移动端可用

首次发布 传播指数 50

Google 宣布在 Gemini 3.5 Flash 中原生内置「computer use」工具。此前该能力仅以独立的 2.5 模型提供,现在开发者能直接让智能体跨浏览器、移动与桌面环境看懂并操作界面。官方同时引入了针对提示注入的对抗训练,并提供敏感操作需用户确认的安全防线。

Google 升级 Gemini 3.5 Flash:内置电脑操作工具,跨桌面与移动端可用
图:blog.google

让 AI 代替人类操作屏幕,之前通常需要开发者去调用一个昂贵且迟钝的专用模型,生怕它一步操作不慎点错按钮。

Google 刚刚把这一套逻辑收归到了主力梯队。6 月 24 日,Google 宣布将「电脑操作」(computer use)作为内置工具原生集成进 Gemini 3.5 Flash,不再需要切换到特定的实验性模型。

把屏幕操作塞进主力轻量模型

在此之前,这项能力仅作为独立的 Gemini 2.5 computer use 专用模型存在。

如今它被彻底整合进了 3.5 Flash。结合 Gemini 原本就具备的函数调用、Google 搜索与地图 grounding 能力,现在的 3.5 Flash 可以直接在单一模型内看懂屏幕、理解逻辑,并在浏览器、桌面以及移动端环境里模拟操作。

Google 把这项能力的重心放在了长流程与企业自动化任务上,典型的用例包括跨专业软件的数据处理,以及繁琐的软件持续自动化测试。

目前开发者和企业用户已经可以通过 Gemini API 以及 Gemini Enterprise Agent Platform 直接接入,第三方测试平台 Browserbase 也同步上线了免配置的试用环境。

提示词注入与两道安全刹车

让智能体直接在真实环境里乱跑,最大的威胁就是网页或文档里藏着的提示词注入攻击。

为了防范这类风险,Google 称在底层针对电脑操作场景对 Gemini 3.5 Flash 进行了专门的对抗训练。

除了模型本身的防御,Google 还面向企业推出了两套可选的安全防护系统。

第一道是敏感或不可逆操作的确认机制,只要涉及高危动作,系统必须强制弹出窗口要求真人确认才能继续。

第二道是间接提示词注入的主动防御,一旦系统识别到外部环境里潜藏的恶意诱导指令,就会立即自动中止任务。

Google 同时也提醒开发者,不要指望靠单一机制完全杜绝风险,在生产环境部署时,必须配合沙箱隔离、人机协同验证以及严格的权限管理等多层防御手段。

为什么重要

对于需要构建自动化流程的团队来说,这项更新最大的价值在于成本和响应速度。过去拿高阶大模型做屏幕交互,不仅单次操作计费昂贵,每一步推理的延迟也极容易导致流程超时中断。把能力塞进以快和省见长的 Flash 模型,才真正让大规模跑自动化测试这种脏活累活具备了商业可行性。

我们认为,Google 最聪明的地方在于放弃了「特种模型」的路线,把它做成了与搜索、地图平级的内置基础工具。这意味着开发者不用再去维护两套割裂的模型调度逻辑,AI 调动键鼠和调动一次网页搜索在工程架构上变得一样平常。

不过隐患依然非常明显。在开放的桌面和浏览器里,间接注入就像随时可能踩中的地雷,黑客在网页背景色里藏一行小字就可能劫持整个会话。尽管 Google 提供了自动刹车和人工确认开关,但这本质上依然是一场攻防拉锯。我们认为,在没有严格沙箱隔离的前提下,现在就让它去触碰包含核心凭证和不可逆资产的生产环境,依然冒着不小的风险。

来源 (1)

  1. [1]
    blog.google(在新标签页打开)原文blog.google

每日 AI 内容精选