Google 釋出 Gemini 2.5 Computer Use：像人一樣操作網頁，主打低延遲

過去一年裡，AI 已經很擅長寫程式碼和聊天，但如果你讓它去一個連 API 都沒有的老網站上填張表、選個下拉選單，它往往只能兩手一攤。

Google 剛剛推出的 Gemini 2.5 Computer Use 模型，就是要解決這個尷尬。它是基於 Gemini 2.5 Pro 的視覺理解和推理能力專門打造的，能讓 AI 智慧體像真人一樣看著螢幕，在網頁上點選、打字和滑動。

目前這個模型已經在 Google AI Studio 和 Vertex AI 的 Gemini API 中開啟公開預覽。

像真人一樣看螢幕、迴圈操作

這個模型的核心能力通過 API 裡的 computer_use 工具呼叫。它不是單次對話，而是一個持續的執行迴圈。

工作流程其實很直觀：客戶端先把使用者需求、當前環境的螢幕截圖以及最近的操作歷史打包發給模型。模型看懂畫面後，生成下一步的 UI 操作指令，比如點選某個座標或者輸入一段文字。

原生代碼執行完這步操作後，會抓取一張最新的介面截圖和當前 URL，再回傳給模型。只要任務沒做完，這個「截圖、判斷、操作」的迴圈就會一直跑下去。

如果遇到涉及付款等關鍵動作，模型也可以主動向人類請求確認。開發者還能自行裁剪操作許可權，決定允許或禁止哪些動作。

需要說明的是，這次釋出的模型主要針對 Web 瀏覽器進行了深度最佳化，在移動端 UI 上也有不錯表現，但目前還沒針對桌面作業系統的底層控制做最佳化。

壓低延遲，把安全鎖死在網頁裡

操控介面的智慧體最讓人頭疼的就是慢。根據 Browserbase 在 Online-Mind2Web 等基準測試上的評估，Gemini 2.5 Computer Use 不僅在多項網頁和移動控制測試中拿到領先成績，還把響應延遲壓得很低。

在 Google 內部，這個模型已經被塞進了很多一線業務。比如用來做自動化的軟體 UI 測試，以及給 Project Mariner、Firebase Testing Agent 和 Google 搜尋裡的 AI Mode 提供智慧體能力支援。

但讓 AI 自由操控瀏覽器，風險顯然比單純聊天大得多，比如誤中釣魚網站、遭遇提示詞注入，或者被惡意操縱去破解安全防線。

Google 在模型訓練階段就內建了針對這些風險的安全規則，同時在外部增加了一套推理時的步進安全服務。這套獨立服務會在模型提出每一個動作時進行即時審查，開發者也可以配置指令，禁止模型自動繞過驗證碼、破壞系統完整性或接管高風險裝置。

為什麼重要

我們認為，AI 智慧體的競爭焦點正在從打字對話全面轉向操作介面。

對開發者和企業來說，它的最大價值在於繞過了 API 的門檻。現實中有大量老舊系統、第三方 SaaS 根本沒有開放介面，以往做自動化只能靠死板的指令碼，頁面結構一變就報錯。現在開發者可以用 Playwright 或 Browserbase 配合它，直接把跨網站錄入、複雜 UI 自動化測試跑起來。

普通使用者雖然暫時不能開箱即用，但隨著各類基於它構建的助手落地，繁瑣的搬磚式操作會大幅減少。

Google 這次把重心完全壓在瀏覽器和移動端，而不是急於搶佔整個桌面系統，看起來是一步很聰明的取捨。畢竟現代工作流絕大部分都發生在線上，瀏覽器的沙箱環境也比作業系統底層更好做安全隔離。

不過，現在的隱患依然擺在眼前。真實網路環境極其混亂，各種反爬彈窗、突如其來的驗證碼和動態載入隨時可能打亂動作迴圈。模型能不能在複雜的真實長鏈路任務中保持高成功率，依然需要在公共測試裡接受檢驗。