Copilot Studio 開啟 Computer use 公測:智慧體能直接操作電腦了
Microsoft 宣佈在 Copilot Studio 中開啟 Computer use 公開預覽。智慧體無需 API 即可藉助雲端瀏覽器或本地裝置操作網頁和桌面應用,自動跨軟體抓取資料、填表,並自適應介面變動。目前向美國環境開放。

很多企業裡最折磨人的活,從來不是什麼高大上的創新,而是把一個網頁上的表格數字,手動複製貼上到另一個連 API 都沒有的老古董軟體裡。
以往要自動化這種流程,得靠傳統的 RPA 工具,但只要網頁改個版或者按鈕挪個位置,指令碼立馬報錯罷工。微軟現在打算用 AI 來徹底改寫這個局面。
微軟宣佈在 Copilot Studio 中正式上線 Computer use(電腦使用)的公開預覽版。目前美國環境的使用者已經可以把這項功能作為工具,直接塞給自己的智慧體。
說白了,就是給 AI 配了一副眼睛、鍵盤和滑鼠。只要你用自然語言描述一遍任務,智慧體就能自己開啟電腦把活幹了,即使目標軟體根本沒有資料介面也無所謂。
告別寫死指令碼,AI 開始像人一樣看螢幕
這套功能最大的底氣在於自帶的視覺理解和即時推理能力。即使網頁版面改了,或者應用在不同版本里變了模樣,智慧體也能看懂螢幕上的圖表和按鈕,自己適應介面的變化。
為了讓企業用起來省心,微軟直接在雲端搬出了 Windows 365。做純網頁任務時,使用者根本不需要自己搭虛擬機器或配環境,直接呼叫微軟託管的瀏覽器就能開跑。
如果要操作企業內網系統或小眾的本地桌面軟體,使用者也可以註冊並接入自己的裝置。此前如果已經在用 Power Automate 跑桌面流,那些現成的機器也能直接平移過來復用。
除錯的時候也挺有意思,微軟提供了一個並排檢視,左邊看 AI 控制螢幕點選輸入,右邊即時顯示它的思考推理鏈,出了岔子一眼就能看出來。
為了防範安全隱患,這次還加上了憑據安全儲存機制,以及一個關鍵的白名單功能。企業可以嚴格圈定智慧體允許訪問的網站和軟體,AI 一旦試圖越界,執行就會被立刻強制掐斷。
為什麼重要
我們認為,微軟把 Computer use 做到 Copilot Studio 裡,標誌著軟體自動化從死板的流程配置,真正轉向了有彈性的意圖驅動。對於受困於資料孤島和遺留系統的企業來說,這比花幾百萬重構老系統現實得多。
從行業競爭來看,Anthropic 此前率先演示了操作電腦的能力,但一直停留在相對硬核的開發者層面。微軟這次直接把它和 Windows 365、Power Automate 以及企業現有的憑據體系打通,把技術包裝成了開箱即用的企業級產品,給其他競爭對手施加了不小的壓力。
但隱患同樣擺在眼前。雖然有白名單和自動化憑據管理,讓大模型直接接管螢幕並執行鍵盤滑鼠操作,依然伴隨著誤操作的高風險,比如點錯確認鍵或填錯關鍵數字。
我們建議,目前這類工具非常適合拿來做市場競品資訊抓取、供應商庫存核對等容錯率較高的跨平臺搬運工作。但在涉及核心賬目或寫操作的高敏感流程上,最好還是保留人工複核,別急著把許可權完全放手給它。
來源 (1)
- microsoft.com(在新分頁開啟)原文microsoft.com