微软在 Azure 上线 CUA：用自然语言让 AI 自己点屏幕、填表单

首次发布 2025年3月11日 UTC 20:30传播指数 40

微软在 Azure AI Foundry 推出 Responses API 与 Computer-Using Agent（CUA）。CUA 能看懂图形界面并跨桌面或网页执行点击与表单操作，Responses API 则将多工具调用整合为单次请求。不过针对高风险操作，目前仍强烈建议人工介入确认。

以前想让 AI 帮你干活，通常得满足两个条件：要么对方系统有现成的 API，要么你自己得写一堆极其脆弱的 RPA 自动化脚本，界面按钮稍微挪动一毫米，脚本就彻底崩溃。

微软在 Azure AI Foundry 扔出了两个新工具，试图直接解决这个痛点：一个是能直接看懂屏幕、上手点鼠标点界面的专用模型 Computer-Using Agent，另一个是把调用工具的复杂度打包进一次请求里的 Responses API。

屏幕上有啥点啥，不再求着别人给 API

这套被称为 CUA 的模型，核心能力就是代替人在图形界面上点来点去。不管是没有接口的老旧桌面软件，还是复杂的跨网页后台，它直接根据屏幕截图和视觉元素理解当下的界面状态，自己去找按钮、填表单、翻页操作。

为了不让它在本地电脑上把系统搞崩，微软还打起了一个算盘：他们正在评估把 CUA 直接塞进 Windows 365 云电脑和 Azure 虚拟桌面里。也就是说，让 AI 在微软托管的云端虚拟机里去折腾，既不占本地屏幕，也方便企业做权限隔离。

但微软也挺实诚，在安全说明里打了一记预防针。他们明确表示，CUA 目前在非浏览器环境里的可靠性还在打磨中，遇到不可逆的操作必须弹窗让人确认，甚至直接限制了金融转账等高危行为，强烈建议敏感场景必须有人在旁边盯着。

另一个更新 Responses API，则是冲着开发者去的。以前在 Azure 上写一个智能体，你要么用轻便的 Chat Completions，但工具调度很费劲；要么用更重型的 Assistants API，又觉得架构太繁琐。

这次的 Responses API 相当于把二者的长处揉在了一起。开发者只需要发一次 API 请求，就能把文件检索、自定义函数调用以及刚才提到的 CUA 视觉操作全部串起来。

每次交互还会生成唯一的响应编号，系统靠这个 ID 就能自动在多轮对话中追踪上下文，省得开发者自己去维护一套复杂的对话状态机。

我们认为，微软这一步最聪明的地方，不是单纯追赶 Anthropic 之前发布的电脑控制功能，而是把它和自己的企业级底盘绑在了一起。

把可以操控界面的 AI 放在 Windows 365 和虚拟桌面里跑，几乎是目前最合规、最安全的落地方案。企业既想用 AI 帮老系统干活，又怕 AI 删库或乱点转账，虚拟机加多层确认机制正好卡在这个微妙的信任门槛上。

对开发者和企业来说，很多十几年前买的内部 ERP 或专有软件根本不可能重新开发 API，现在只要交给 CUA，就能用自然语言指挥它干活。不过现在大家也不用急着把关键业务全交给它，毕竟连微软自己都承认桌面端可靠性还在爬坡，先拿内部非核心流程做做实验才是理性的选择。

从竞争角度看，云厂商的战场已经彻底从「卖大模型 Token」转向「卖能执行复杂任务的数字员工底座」。微软靠着企业服务生态和虚拟化环境，看起来已经给对手立起了一道相当难逾越的工程壁垒。