跳到正文
IFAI

AI工具

Copilot Studio 开启 Computer use 公测:智能体能直接操作电脑了

首次发布 传播指数 41

Microsoft 宣布在 Copilot Studio 中开启 Computer use 公开预览。智能体无需 API 即可借助云端浏览器或本地设备操作网页和桌面应用,自动跨软件抓取数据、填表,并自适应界面变动。目前向美国环境开放。

Copilot Studio 开启 Computer use 公测:智能体能直接操作电脑了
图:microsoft.com

很多企业里最折磨人的活,从来不是什么高大上的创新,而是把一个网页上的表格数字,手动复制粘贴到另一个连 API 都没有的老古董软件里。

以往要自动化这种流程,得靠传统的 RPA 工具,但只要网页改个版或者按钮挪个位置,脚本立马报错罢工。微软现在打算用 AI 来彻底改写这个局面。

微软宣布在 Copilot Studio 中正式上线 Computer use(电脑使用)的公开预览版。目前美国环境的用户已经可以把这项功能作为工具,直接塞给自己的智能体。

说白了,就是给 AI 配了一副眼睛、键盘和鼠标。只要你用自然语言描述一遍任务,智能体就能自己打开电脑把活干了,即使目标软件根本没有数据接口也无所谓。

告别写死脚本,AI 开始像人一样看屏幕

这套功能最大的底气在于自带的视觉理解和实时推理能力。即使网页版面改了,或者应用在不同版本里变了模样,智能体也能看懂屏幕上的图表和按钮,自己适应界面的变化。

为了让企业用起来省心,微软直接在云端搬出了 Windows 365。做纯网页任务时,用户根本不需要自己搭虚拟机或配环境,直接调用微软托管的浏览器就能开跑。

如果要操作企业内网系统或小众的本地桌面软件,用户也可以注册并接入自己的设备。此前如果已经在用 Power Automate 跑桌面流,那些现成的机器也能直接平移过来复用。

调试的时候也挺有意思,微软提供了一个并排视图,左边看 AI 控制屏幕点击输入,右边实时显示它的思考推理链,出了岔子一眼就能看出来。

为了防范安全隐患,这次还加上了凭据安全存储机制,以及一个关键的白名单功能。企业可以严格圈定智能体允许访问的网站和软件,AI 一旦试图越界,运行就会被立刻强制掐断。

为什么重要

我们认为,微软把 Computer use 做到 Copilot Studio 里,标志着软件自动化从死板的流程配置,真正转向了有弹性的意图驱动。对于受困于数据孤岛和遗留系统的企业来说,这比花几百万重构老系统现实得多。

从行业竞争来看,Anthropic 此前率先演示了操作电脑的能力,但一直停留在相对硬核的开发者层面。微软这次直接把它和 Windows 365、Power Automate 以及企业现有的凭据体系打通,把技术包装成了开箱即用的企业级产品,给其他竞争对手施加了不小的压力。

但隐患同样摆在眼前。虽然有白名单和自动化凭据管理,让大模型直接接管屏幕并执行键盘鼠标操作,依然伴随着误操作的高风险,比如点错确认键或填错关键数字。

我们建议,目前这类工具非常适合拿来做市场竞品信息抓取、供应商库存核对等容错率较高的跨平台搬运工作。但在涉及核心账目或写操作的高敏感流程上,最好还是保留人工复核,别急着把权限完全放手给它。

来源 (1)

  1. [1]
    microsoft.com(在新标签页打开)原文microsoft.com

每日 AI 内容精选