Copilot Studio 引入 Computer Use：智能体可直接操作网页与桌面 UI

如果一家老牌外企的财务系统还停留在十多年前，既没有像样的 API 接口，又天天需要员工手动搬运数据，以前的解法通常是花大价钱上一套 RPA 流程。

但凡用过传统 RPA 的人都知道它有多脆弱：前端界面哪怕只是改了个按钮颜色、换了个排版位置，自动化脚本大概率就会当场罢工。

微软在 Copilot Studio 里正式推出了名为「computer use」的电脑操作能力，目前作为早期研究预览向企业开放。

说白了，微软现在让 AI 像真人一样去盯屏幕、点鼠标和敲键盘。

没 API 的老系统，让 AI 看着屏幕操作

上个月微软刚给 Copilot Studio 塞进了深层推理、支持了 Anthropic 主推的 MCP 协议，还全面上线了工作流编排。

这次新增的电脑操作能力，直接把所有的网页和桌面软件都变成了智能体可以调用的现成工具。

只要一个人能用鼠标点开的应用，AI 理论上就能操作。它支持包括 Edge、Chrome、Firefox 在内的主流浏览器，以及各种本地桌面应用。

和传统写死坐标的脚本不同，AI 是靠视觉和实时推理在看屏幕。遇到按钮挪了位置或者页面轻微改版，它能自己在后台推理并纠错，继续把活干完。

搭建过程也不需要写代码，直接给它讲大白话就行。微软做了一个左右并排的调试界面，一边是操作界面的实时录屏，另一边是 AI 当前的思考链路。

另外，管理者也能看到完整的历史记录，包括 AI 过去每一步截的图和当时的推导过程，不用担心它在后台瞎点。

这套系统全部跑在微软自己的云端基础设施上，企业不用自己搭服务器。微软特别强调，企业数据不会离开微软云的合规边界，也不会拿去训练前沿大模型。

为什么重要

我们认为，微软这一步是把生成式 AI 最直接地捅进了传统 RPA 的腹地。

对企业和开发者来说，最大的价值是把大量历史包袱很重、没钱也没人力重构 API 的老旧系统盘活了。以前财务审发票、跨系统搬运物料、定时去竞品网站抓数据这类脏活累活，配置一套 RPA 的维护成本往往高得吓人。现在用自然语言加实时屏幕识别，搭建门槛直接降了一大截。

不过，值不值得现在就全面押注？我们觉得还得保持冷静。让 AI 自己看屏幕点鼠标，本质上依然存在幻觉导致的误触风险。虽然微软提供了截图复盘和推理链路，但在涉及真金白银转账或者核心数据库修改的场景里，谁敢真的放手让预览版的 AI 完全脱离人工监督？

从行业竞争来看，Anthropic 去年底率先带火了电脑操作概念，但当时更偏向技术演示和极客极低层级的调试。微软这次聪明的点在于，它没有把这当成一个孤立的模型能力来卖，而是直接整合进了原本就面向企业买单者的 Copilot Studio 体系里，还打包了现成的云端算力和数据合规承诺。

这看起来会给 UiPath 等老牌自动化软件厂商带来极大的压力。如果大模型公司自己就能把视觉推理和界面操作整合进统一的平台，纯靠规则和脚本起家的传统自动化工具，生存空间只会越来越窄。