跳到正文
IFAI

AI工具

Anthropic 開放電腦操作預覽:手機派活,Claude 替你操控桌面

首次發布 傳播指數 49

Anthropic 面向 Claude Pro 和 Max 使用者開放電腦操作功能研究預覽。在 Claude Cowork 和 Claude Code 中,Claude 可直接點選螢幕、開啟檔案並操作應用。搭配上週推出的 Dispatch,使用者還能在手機上派發任務,讓電腦自動執行。

圖:claude.com

你坐在早高峰的地鐵上,在手機上隨手給 Claude 發了一條訊息,讓它把你昨天寫了一半的程式碼跑一下測試,順便提交個 PR。等你到了工位開啟電腦,發現活已經幹完了,螢幕上的終端視窗剛剛關掉。

這不是科幻場景,而是 Anthropic 最近想讓你習慣的日常。Anthropic 正式將此前備受關注的電腦控制能力帶到了 Claude Cowork 和 Claude Code 中,目前以研究預覽的形式向 Claude Pro 和 Claude Max 訂閱使用者開放。

沒介面也沒關係,它會自己動滑鼠

這項功能的核心邏輯很直接:不需要任何複雜配置,Claude 就能像真人一樣操控你的電腦。它可以移動游標、點選按鈕、滾動頁面、開啟本地檔案,或者啟動瀏覽器和開發者工具。

在執行任務時,Claude 並不是盲目地抓取螢幕。系統會先查詢有沒有現成的服務聯結器,比如 Slack 或 Google Calendar。只要有官方介面,它就會優先呼叫介面來保證速度和準確率。

只有在完全沒有聯結器的情況下,Claude 才會退回到直接控制螢幕的模式。Anthropic 也承認,直接對著螢幕點點點肯定比直接呼叫 API 要慢得多,遇到複雜的任務可能還需要多試幾次。

由於直接接管系統許可權非常敏感,安全成了最大的坎。Anthropic 在底層加入了模型啟用掃描機制,用來檢測可能出現的提示詞注入攻擊。此外,Claude 在開啟新應用前必須獲得明確許可,部分敏感應用預設禁止訪問,使用者也可以隨時一鍵接管。

手機派活,電腦幹活

如果單看螢幕控制,其實並不算全新概念,早在兩年前 Anthropic 就在模型層面展示過類似能力。但這次最大的變化在於它和新功能 Dispatch 的結合。

上週 Anthropic 剛剛上線了 Dispatch,讓手機端和桌面端的 Claude 保持同一段連續對話。現在有了電腦控制加持,你可以在通勤路上用手機給它派活,讓它在後臺處理郵件簡報、提取週報資料,甚至監控 3D 列印的進度。

需要注意的是,目前桌面客戶端必須保持喚醒和執行狀態。平臺支援方面,雖然官方提到支援桌面系統,但據 The Verge 報道,當前的研究預覽階段實際上先限制在 macOS 裝置上體驗。

為什麼重要

我們認為,Anthropic 這次最聰明的地方,在於徹底放下了對統一 API 生態的執念,給智慧體找了一條務實的落地路徑。

以往的自動化工具總要求軟體廠商提供標準化介面,現實中大批內部老系統、小眾開發工具根本沒有現成 API。讓 AI 像人一樣看螢幕、點滑鼠,雖然動作慢了一點,但它把接入成本直接降到了零。普通打工人不用寫複雜的自動化指令碼,只要電腦開著,就能把碎活甩給它。

配合手機端的 Dispatch,這也悄悄改變了人機協作的形態。過去你用 AI 程式設計或寫週報,必須肉身守在電腦螢幕前看著它打字;現在它更像是一個留在辦公室的值班助理,你負責在手機上發號施令,它在後臺替你踩坑執行。

但隱患同樣擺在眼前。看螢幕操作的容錯率依然很低,UI 稍微卡頓或彈出一個無關視窗,任務就可能卡死。更別提把整臺電腦的鍵鼠許可權交給 AI,即便有模型啟用掃描,防範惡意提示詞注入依然是一場貓鼠遊戲。對於手頭有核心資產的團隊,我們建議現在可以拿來跑跑邊緣流程,但核心生產環境最好還是多留個心眼。

來源 (2)

  1. [1]
    claude.com(在新分頁開啟)原文claude.com
  2. [2]
    theverge.com(在新分頁開啟)報導theverge.com

每日 AI 內容精選