港大开源 OpenCUA：操纵电脑的开源智能体，向闭源大厂看齐

OpenCUA 是香港大学 XLANG 实验室等团队开源的计算机操控智能体（CUA）框架，能让视觉语言模型像人一样盯着屏幕、敲键盘、动鼠标来操作电脑。

Anthropic 和 OpenAI 的电脑操控能力一直捂得很严，训练数据和流程都是黑盒。OpenCUA 则是把从数据采集工具、训练配方到评测基准全套端了出来，基准测试成绩直接咬住了顶尖的闭源模型。

跨系统的录制工具与 2.26 万条真实数据

要让 AI 学会用电脑，最缺的是海量、真实的人类操作轨迹。OpenCUA 自带了一个叫 AgentNet Tool 的后台采集工具，可以直接跑在用户的个人电脑上。

它不仅能录制屏幕视频和鼠标键盘操作，还会同步提取底层的无障碍辅助功能树（Accessibility Tree），直接拿到界面元素的结构化信息。这些原始操作随后会被切成「截图状态加动作」的数据对。

靠着这套工具，团队收集出了 AgentNet 数据集。里面包含跨 Windows、macOS 和 Ubuntu 三大系统的 22600 多条任务演示，覆盖了 200 多个桌面软件和网站。

录屏最怕泄露隐私。团队给数据采集加了三重防护：标注人员提交前可以完整预览和删改，随后有专门的人工审查，最后还会用大模型自动扫描敏感信息，确保企业内部数据不会意外流出。

动作不能瞎学：给模型注入三层「内心独白」

有了海量数据，直接拿屏幕截图和鼠标动作硬训视觉语言模型，效果其实很有限。港大团队发现，单纯模仿动作根本学不会复杂的电脑操作。

OpenCUA 的关键解法是给每一步操作加上思维链（CoT）推理。系统为每一个动作生成了结构化的「内心独白」，拆解成三个层次。

第一层是高层屏幕观察，判断当前界面处于什么状态；第二层是反思与规划，分析眼下的局势并思考下一步该干嘛；第三层才是最后精简的可执行操作。这种多轮推理让模型在面对从未见过的软件界面时，也能靠逻辑摸索着完成任务。

为了方便大家快速跑分，团队还配套开源了离线评测基准 AgentNetBench，每一个操作步骤都允许多种合理解法，不用每次都跑完整的动态环境。

为什么重要

如果你正在研发桌面端智能体、做自动化 RPA 或者测试流程，OpenCUA 绝对值得第一时间拉下来看看。它不仅开源了训练好的模型权重，还把数据收集工具和数据合成的完整管线全盘托出，相当于给整个开源社区发了一张造桌面 Agent 的完整底牌。

在我们看来，这套方案最聪明的地方不是堆模型参数，而是摸透了「电脑操作本质是逻辑推理而不是单纯看图」这件事。引入辅助功能树加三层思维链，把黑盒操作变成了可解释的动作链路。虽然在应对高频弹窗和复杂极端场景时离顶级商业工具仍有差距，但它彻底打破了大厂在电脑操控领域的垄断，开源生态追平闭源的速度可能会比想象中更快。