Copilot Studio 引入 Computer Use：智慧體可直接操作網頁與桌面 UI

如果一家老牌外企的財務系統還停留在十多年前，既沒有像樣的 API 介面，又天天需要員工手動搬運資料，以前的解法通常是花大價錢上一套 RPA 流程。

但凡用過傳統 RPA 的人都知道它有多脆弱：前端介面哪怕只是改了個按鈕顏色、換了個排版位置，自動化指令碼大機率就會當場罷工。

微軟在 Copilot Studio 里正式推出了名為「computer use」的電腦操作能力，目前作為早期研究預覽向企業開放。

說白了，微軟現在讓 AI 像真人一樣去盯螢幕、點滑鼠和敲鍵盤。

沒 API 的老系統，讓 AI 看著螢幕操作

上個月微軟剛給 Copilot Studio 塞進了深層推理、支援了 Anthropic 主推的 MCP 協議，還全面上線了工作流編排。

這次新增的電腦操作能力，直接把所有的網頁和桌面軟體都變成了智慧體可以呼叫的現成工具。

只要一個人能用滑鼠點開的應用，AI 理論上就能操作。它支援包括 Edge、Chrome、Firefox 在內的主流瀏覽器，以及各種本地桌面應用。

和傳統寫死座標的指令碼不同，AI 是靠視覺和即時推理在看螢幕。遇到按鈕挪了位置或者頁面輕微改版，它能自己在後臺推理並糾錯，繼續把活幹完。

搭建過程也不需要寫程式碼，直接給它講大白話就行。微軟做了一個左右並排的除錯介面，一邊是操作介面的即時錄屏，另一邊是 AI 當前的思考鏈路。

另外，管理者也能看到完整的歷史記錄，包括 AI 過去每一步截的圖和當時的推導過程，不用擔心它在後臺瞎點。

這套系統全部跑在微軟自己的雲端基礎設施上，企業不用自己搭伺服器。微軟特別強調，企業資料不會離開微軟雲的合規邊界，也不會拿去訓練前沿大模型。

為什麼重要

我們認為，微軟這一步是把生成式 AI 最直接地捅進了傳統 RPA 的腹地。

對企業和開發者來說，最大的價值是把大量歷史包袱很重、沒錢也沒人力重構 API 的老舊系統盤活了。以前財務審發票、跨系統搬運物料、定時去競品網站抓資料這類髒活累活，配置一套 RPA 的維護成本往往高得嚇人。現在用自然語言加即時螢幕識別，搭建門檻直接降了一大截。

不過，值不值得現在就全面押注？我們覺得還得保持冷靜。讓 AI 自己看螢幕點滑鼠，本質上依然存在幻覺導致的誤觸風險。雖然微軟提供了截圖復盤和推理鏈路，但在涉及真金白銀轉賬或者核心資料庫修改的場景裡，誰敢真的放手讓預覽版的 AI 完全脫離人工監督？

從行業競爭來看，Anthropic 去年底率先帶火了電腦操作概念，但當時更偏向技術演示和極客極低層級的除錯。微軟這次聰明的點在於，它沒有把這當成一個孤立的模型能力來賣，而是直接整合進了原本就面向企業買單者的 Copilot Studio 體系裡，還打包了現成的雲端算力和資料合規承諾。

這看起來會給 UiPath 等老牌自動化軟體廠商帶來極大的壓力。如果大模型公司自己就能把視覺推理和介面操作整合進統一的平臺，純靠規則和指令碼起家的傳統自動化工具，生存空間只會越來越窄。