港大開源 OpenCUA：操縱電腦的開源智慧體，向閉源大廠看齊

OpenCUA 是香港大學 XLANG 實驗室等團隊開源的計算機操控智慧體（CUA）框架，能讓視覺語言模型像人一樣盯著螢幕、敲鍵盤、動滑鼠來操作電腦。

Anthropic 和 OpenAI 的電腦操控能力一直捂得很嚴，訓練資料和流程都是黑盒。OpenCUA 則是把從資料採集工具、訓練配方到評測基準全套端了出來，基準測試成績直接咬住了頂尖的閉源模型。

跨系統的錄製工具與 2.26 萬條真實資料

要讓 AI 學會用電腦，最缺的是海量、真實的人類操作軌跡。OpenCUA 自帶了一個叫 AgentNet Tool 的後臺採集工具，可以直接跑在使用者的個人電腦上。

它不僅能錄製螢幕影片和滑鼠鍵盤操作，還會同步提取底層的無障礙輔助功能樹（Accessibility Tree），直接拿到介面元素的結構化資訊。這些原始操作隨後會被切成「截圖狀態加動作」的資料對。

靠著這套工具，團隊收集出了 AgentNet 資料集。裡面包含跨 Windows、macOS 和 Ubuntu 三大系統的 22600 多條任務演示，覆蓋了 200 多個桌面軟體和網站。

錄屏最怕洩露隱私。團隊給資料採集加了三重防護：標註人員提交前可以完整預覽和刪改，隨後有專門的人工審查，最後還會用大模型自動掃描敏感資訊，確保企業內部資料不會意外流出。

動作不能瞎學：給模型注入三層「內心獨白」

有了海量資料，直接拿螢幕截圖和滑鼠動作硬訓視覺語言模型，效果其實很有限。港大團隊發現，單純模仿動作根本學不會複雜的電腦操作。

OpenCUA 的關鍵解法是給每一步操作加上思維鏈（CoT）推理。系統為每一個動作生成了結構化的「內心獨白」，拆解成三個層次。

第一層是高層螢幕觀察，判斷當前介面處於什麼狀態；第二層是反思與規劃，分析眼下的局勢並思考下一步該幹嘛；第三層才是最後精簡的可執行操作。這種多輪推理讓模型在面對從未見過的軟體介面時，也能靠邏輯摸索著完成任務。

為了方便大家快速跑分，團隊還配套開源了離線評測基準 AgentNetBench，每一個操作步驟都允許多種合理解法，不用每次都跑完整的動態環境。

為什麼重要

如果你正在研發桌面端智慧體、做自動化 RPA 或者測試流程，OpenCUA 絕對值得第一時間拉下來看看。它不僅開源了訓練好的模型權重，還把資料收集工具和資料合成的完整管線全盤托出，相當於給整個開源社群發了一張造桌面 Agent 的完整底牌。

在我們看來，這套方案最聰明的地方不是堆模型引數，而是摸透了「電腦操作本質是邏輯推理而不是單純看圖」這件事。引入輔助功能樹加三層思維鏈，把黑盒操作變成了可解釋的動作鏈路。雖然在應對高頻彈窗和複雜極端場景時離頂級商業工具仍有差距，但它徹底打破了大廠在電腦操控領域的壟斷，開源生態追平閉源的速度可能會比想像中更快。