Google 升級 Gemini 3.5 Flash:內建電腦操作工具,跨桌面與移動端可用
Google 宣佈在 Gemini 3.5 Flash 中原生內建「computer use」工具。此前該能力僅以獨立的 2.5 模型提供,現在開發者能直接讓智慧體跨瀏覽器、移動與桌面環境看懂並操作介面。官方同時引入了針對提示注入的對抗訓練,並提供敏感操作需使用者確認的安全防線。

讓 AI 代替人類操作螢幕,之前通常需要開發者去呼叫一個昂貴且遲鈍的專用模型,生怕它一步操作不慎點錯按鈕。
Google 剛剛把這一套邏輯收歸到了主力梯隊。6 月 24 日,Google 宣佈將「電腦操作」(computer use)作為內建工具原生整合進 Gemini 3.5 Flash,不再需要切換到特定的實驗性模型。
把螢幕操作塞進主力輕量模型
在此之前,這項能力僅作為獨立的 Gemini 2.5 computer use 專用模型存在。
如今它被徹底整合進了 3.5 Flash。結合 Gemini 原本就具備的函式呼叫、Google 搜尋與地圖 grounding 能力,現在的 3.5 Flash 可以直接在單一模型內看懂螢幕、理解邏輯,並在瀏覽器、桌面以及移動端環境裡模擬操作。
Google 把這項能力的重心放在了長流程與企業自動化任務上,典型的用例包括跨專業軟體的資料處理,以及繁瑣的軟體持續自動化測試。
目前開發者和企業使用者已經可以通過 Gemini API 以及 Gemini Enterprise Agent Platform 直接接入,第三方測試平臺 Browserbase 也同步上線了免配置的試用環境。
提示詞注入與兩道安全剎車
讓智慧體直接在真實環境裡亂跑,最大的威脅就是網頁或文件裡藏著的提示詞注入攻擊。
為了防範這類風險,Google 稱在底層針對電腦操作場景對 Gemini 3.5 Flash 進行了專門的對抗訓練。
除了模型本身的防禦,Google 還面向企業推出了兩套可選的安全防護系統。
第一道是敏感或不可逆操作的確認機制,只要涉及高危動作,系統必須強制彈出視窗要求真人確認才能繼續。
第二道是間接提示詞注入的主動防禦,一旦系統識別到外部環境裡潛藏的惡意誘導指令,就會立即自動中止任務。
Google 同時也提醒開發者,不要指望靠單一機制完全杜絕風險,在生產環境部署時,必須配合沙箱隔離、人機協同驗證以及嚴格的許可權管理等多層防禦手段。
為什麼重要
對於需要構建自動化流程的團隊來說,這項更新最大的價值在於成本和響應速度。過去拿高階大模型做螢幕互動,不僅單次操作計費昂貴,每一步推理的延遲也極容易導致流程超時中斷。把能力塞進以快和省見長的 Flash 模型,才真正讓大規模跑自動化測試這種髒活累活具備了商業可行性。
我們認為,Google 最聰明的地方在於放棄了「特種模型」的路線,把它做成了與搜尋、地圖平級的內建基礎工具。這意味著開發者不用再去維護兩套割裂的模型排程邏輯,AI 調動鍵鼠和調動一次網頁搜尋在工程架構上變得一樣平常。
不過隱患依然非常明顯。在開放的桌面和瀏覽器裡,間接注入就像隨時可能踩中的地雷,駭客在網頁背景色裡藏一行小字就可能劫持整個會話。儘管 Google 提供了自動剎車和人工確認開關,但這本質上依然是一場攻防拉鋸。我們認為,在沒有嚴格沙箱隔離的前提下,現在就讓它去觸碰包含核心憑證和不可逆資產的生產環境,依然冒著不小的風險。
來源 (1)
- blog.google(在新分頁開啟)原文blog.google