ShowUI-Aloha 开源：看人录屏示范一次，就能学会操作电脑

教 AI 用电脑最让人头疼的地方，不是它看不懂文字，而是它一进真实桌面就迷路。给它一段提示词让它去改文件，它常常卡在找不到文件夹的死循环里，或者在软件复杂的多级菜单前乱点一气。

ShowLab 最近开源的 ShowUI-Aloha 换了个很接地气的思路：既然用嘴讲不明白，不如直接做一遍给它看。

录屏教一遍，它学的是骨架不是死记硬背

ShowUI-Aloha 是一套运行在 Windows 和 macOS 上的桌面操作智能体。它的用法很像带实习生：你开着录屏，自己在电脑上把任务完整跑一遍，期间的屏幕画面、鼠标轨迹、按键输入都会被记录下来。

但它不是做无脑的按键重放。系统内置的 Learner 模块会把底层的点击、滚动和打字抽成高层语义动作，比如「打开浏览器」「填写表单」或者「另存为幻灯片」。到了执行阶段，Planner 模块再根据新的自然语言指令，把学会的工作流复用到类似场景里。

换句话说，你示范一次怎么订上海到北京的机票，下次让它订广州到成都，它也能自己找输入框填日期；你教它一次怎么在 Excel 里做矩阵转置，换一张表格它照样知道该去哪里找转置选项。

在包含了 361 个真实桌面操作任务的 OSWorld 评测中，ShowUI-Aloha 完整拿下了 217 个任务，端到端成功率达到 60.1%，大幅超过了现有的基线模型。

商业大模型搞不定的细节，它靠「偷师」搞定了

团队还拿它跟市面上的商业代理做了一组正面硬碰硬的对比，场面挺有意思。

在更新 GitHub 本地仓库的测试里，商业模型根本猜不到代码其实放在「文档/GitHub」路径下，结果在各个文件夹之间反复打转。而 Aloha 照着人类示范过的路径，顺顺当当摸了过去。

在 PowerPoint 批量修改背景色的场景里，商业模型把工具栏里的黄色误选成了橙色，界面出现小偏差后直接连锁崩溃。Aloha 则复刻了人类点击的功能区位置，稳稳搞定。

甚至在 Excel 里找「转置粘贴」这种藏在右键次级菜单里的功能，通用代理试了几次就卡死在菜单漫游里，被教过的 Aloha 却能一步到位。

项目目前基于 MIT 协议完全开源，提供了 Windows 和 macOS 的录制端二进制文件。第三方报道也提到，想要跑通它的执行端，你需要自己备好视觉大语言模型的 API 密钥。

为什么重要

我们认为，ShowUI-Aloha 踩中了一个极其聪明的技术切入点：它放弃了让大模型靠零样本推理去硬啃复杂的工业软件，而是用极其廉价的「人类单次示范」作为锚点，帮模型抹平了最容易翻车的路径探索成本。

对于个人用户和开发者来说，这意味着很多原来写脚本极其费劲的桌面脏活累活，比如跨软件搬运数据、冷门办公软件的重复批量操作，终于有了实用的自动化可能。你不用懂复杂的按键映射代码，花一分钟演示一遍，就能给代理建立一套专属 SOP。

不过它的短板同样肉眼可见。整套机制严重依赖人类初始示范的质量，一旦目标软件界面大改版，或者遇到人类示范里完全没出现的弹窗打断，它能不能体面地恢复还是个问号。团队在路线图里也坦承，更精细的元素定位、拖拽式文本编辑以及少样本泛化依然需要继续补齐。

但不管怎么说，比起继续死磕提示词工程，这种「看一遍就会」的示范学习，看起来更像是桌面级 AI 真正走向可用的正确路径。