ShowUI-Aloha 開源：看人錄屏示範一次，就能學會操作電腦

教 AI 用電腦最讓人頭疼的地方，不是它看不懂文字，而是它一進真實桌面就迷路。給它一段提示詞讓它去改檔案，它常常卡在找不到資料夾的死迴圈裡，或者在軟體複雜的多級選單前亂點一氣。

ShowLab 最近開源的 ShowUI-Aloha 換了個很接地氣的思路：既然用嘴講不明白，不如直接做一遍給它看。

錄屏教一遍，它學的是骨架不是死記硬背

ShowUI-Aloha 是一套執行在 Windows 和 macOS 上的桌面操作智慧體。它的用法很像帶實習生：你開著錄屏，自己在電腦上把任務完整跑一遍，期間的螢幕畫面、滑鼠軌跡、按鍵輸入都會被記錄下來。

但它不是做無腦的按鍵重放。系統內建的 Learner 模組會把底層的點選、滾動和打字抽成高層語義動作，比如「開啟瀏覽器」「填寫表單」或者「另存為幻燈片」。到了執行階段，Planner 模組再根據新的自然語言指令，把學會的工作流複用到類似場景裡。

換句話說，你示範一次怎麼訂上海到北京的機票，下次讓它訂廣州到成都，它也能自己找輸入框填日期；你教它一次怎麼在 Excel 裡做矩陣轉置，換一張表格它照樣知道該去哪裡找轉置選項。

在包含了 361 個真實桌面操作任務的 OSWorld 評測中，ShowUI-Aloha 完整拿下了 217 個任務，端到端成功率達到 60.1%，大幅超過了現有的基線模型。

商業大模型搞不定的細節，它靠「偷師」搞定了

團隊還拿它跟市面上的商業代理做了一組正面硬碰硬的對比，場面挺有意思。

在更新 GitHub 本地倉庫的測試裡，商業模型根本猜不到程式碼其實放在「文件/GitHub」路徑下，結果在各個資料夾之間反覆打轉。而 Aloha 照著人類示範過的路徑，順順當當摸了過去。

在 PowerPoint 批次修改背景色的場景裡，商業模型把工具欄裡的黃色誤選成了橙色，介面出現小偏差後直接連鎖崩潰。Aloha 則復刻了人類點選的功能區位置，穩穩搞定。

甚至在 Excel 裡找「轉置貼上」這種藏在右鍵次級選單裡的功能，通用代理試了幾次就卡死在選單漫遊裡，被教過的 Aloha 卻能一步到位。

專案目前基於 MIT 協議完全開源，提供了 Windows 和 macOS 的錄製端二進位制檔案。第三方報道也提到，想要跑通它的執行端，你需要自己備好視覺大語言模型的 API 金鑰。

為什麼重要

我們認為，ShowUI-Aloha 踩中了一個極其聰明的技術切入點：它放棄了讓大模型靠零樣本推理去硬啃複雜的工業軟體，而是用極其廉價的「人類單次示範」作為錨點，幫模型抹平了最容易翻車的路徑探索成本。

對於個人使用者和開發者來說，這意味著很多原來寫指令碼極其費勁的桌面髒活累活，比如跨軟體搬運資料、冷門辦公軟體的重複批次操作，終於有了實用的自動化可能。你不用懂複雜的按鍵對映程式碼，花一分鐘演示一遍，就能給代理建立一套專屬 SOP。

不過它的短板同樣肉眼可見。整套機制嚴重依賴人類初始示範的質量，一旦目標軟體介面大改版，或者遇到人類示範裡完全沒出現的彈窗打斷，它能不能體面地恢復還是個問號。團隊在路線圖裡也坦承，更精細的元素定位、拖拽式文本編輯以及少樣本泛化依然需要繼續補齊。

但不管怎麼說，比起繼續死磕提示詞工程，這種「看一遍就會」的示範學習，看起來更像是桌面級 AI 真正走向可用的正確路徑。