微軟在 Azure 上線 CUA：用自然語言讓 AI 自己點螢幕、填表單

以前想讓 AI 幫你幹活，通常得滿足兩個條件：要麼對方系統有現成的 API，要麼你自己得寫一堆極其脆弱的 RPA 自動化指令碼，介面按鈕稍微挪動一毫米，指令碼就徹底崩潰。

微軟在 Azure AI Foundry 扔出了兩個新工具，試圖直接解決這個痛點：一個是能直接看懂螢幕、上手點滑鼠點介面的專用模型 Computer-Using Agent，另一個是把呼叫工具的複雜度打包進一次請求裡的 Responses API。

螢幕上有啥點啥，不再求著別人給 API

這套被稱為 CUA 的模型，核心能力就是代替人在圖形介面上點來點去。不管是沒有介面的老舊桌面軟體，還是複雜的跨網頁後臺，它直接根據螢幕截圖和視覺元素理解當下的介面狀態，自己去找按鈕、填表單、翻頁操作。

為了不讓它在本地電腦上把系統搞崩，微軟還打起了一個算盤：他們正在評估把 CUA 直接塞進 Windows 365 雲電腦和 Azure 虛擬桌面裡。也就是說，讓 AI 在微軟託管的雲端虛擬機器裡去折騰，既不佔本地螢幕，也方便企業做許可權隔離。

但微軟也挺實誠，在安全說明裡打了一記預防針。他們明確表示，CUA 目前在非瀏覽器環境裡的可靠性還在打磨中，遇到不可逆的操作必須彈窗讓人確認，甚至直接限制了金融轉賬等高危行為，強烈建議敏感場景必須有人在旁邊盯著。

把亂七八糟的介面打包成一次呼叫

另一個更新 Responses API，則是衝著開發者去的。以前在 Azure 上寫一個智慧體，你要麼用輕便的 Chat Completions，但工具排程很費勁；要麼用更重型的 Assistants API，又覺得架構太繁瑣。

這次的 Responses API 相當於把二者的長處揉在了一起。開發者只需要發一次 API 請求，就能把檔案檢索、自定義函式呼叫以及剛才提到的 CUA 視覺操作全部串起來。

每次互動還會生成唯一的響應編號，系統靠這個 ID 就能自動在多輪對話中追蹤上下文，省得開發者自己去維護一套複雜的對話狀態機。

為什麼重要

我們認為，微軟這一步最聰明的地方，不是單純追趕 Anthropic 之前釋出的電腦控制功能，而是把它和自己的企業級底盤綁在了一起。

把可以操控介面的 AI 放在 Windows 365 和虛擬桌面裡跑，幾乎是目前最合規、最安全的落地方案。企業既想用 AI 幫老系統幹活，又怕 AI 刪庫或亂點轉賬，虛擬機器加多層確認機制正好卡在這個微妙的信任門檻上。

對開發者和企業來說，很多十幾年前買的內部 ERP 或專有軟體根本不可能重新開發 API，現在只要交給 CUA，就能用自然語言指揮它幹活。不過現在大家也不用急著把關鍵業務全交給它，畢竟連微軟自己都承認桌面端可靠性還在爬坡，先拿內部非核心流程做做實驗才是理性的選擇。

從競爭角度看，雲廠商的戰場已經徹底從「賣大模型 Token」轉向「賣能執行復雜任務的數字員工底座」。微軟靠著企業服務生態和虛擬化環境，看起來已經給對手立起了一道相當難逾越的工程壁壘。