字節跳動開源 UI-TARS：讓智慧體直接替你操控桌面與手機

UI-TARS 是 ByteDance 開源的端到端 GUI 操作智慧體，能像真人一樣看懂電腦和手機螢幕，直接替你移動滑鼠、點選圖示、輸入文本和切換應用。

ByteDance 宣佈推出全新的 UI-TARS-2。官方將其定位為多合一智慧體，在先前 UI-TARS-1.5 的基礎上，進一步強化了圖形介面操作、遊戲試玩、程式設計以及外部工具呼叫能力。

它能做什麼

UI-TARS 針對不同平臺準備了專門的動作提示詞模板。

在 Windows、macOS 或 Linux 桌面上，它支援滑鼠單擊、雙擊、右鍵、拖拽、快捷鍵組合、文本輸入和滾輪滑動，適合處理瀏覽器蒐集資訊、辦公軟體填表和本地檔案整理。

在安卓裝置或模擬器上，它適配了長按、返回、主螢幕鍵以及啟動應用等專屬手勢。

除了常規辦公，模型在遊戲操作上的表現也很亮眼。在官方測試裡，它在 Poki 平臺的多款益智網頁遊戲中拿到了滿分，並在《我的世界》伐木和打怪等長鏈路任務中大幅領先此前的強化學習基線。

怎麼做到的與實際表現

UI-TARS 基於強大的視覺語言模型構建，底層利用絕對座標來定位螢幕元素，並藉助強化學習讓模型在動手前先進行思維推理。

這種先思考再操作的機制顯著提升了長步驟任務的穩定性。在計算機操作基準 OSWorld 的 100 步測試中，UI-TARS-1.5 拿到了 42.5 分，高於 OpenAI CUA 的 36.4 和 Claude 3.7 的 28 分。

在介面元素定位評測 ScreenSpotPro 上，它的得分達到 61.6，同樣明顯高於同類商用模型。

不過官方也指出了它的軟肋。長時間操作或跑大型遊戲時算力消耗極高，面對生僻介面偶有幻覺和誤點，而且因為具備突破驗證碼的能力，濫用風險也需要防範。

怎麼跑起來

專案已經在 GitHub 開源。開發者可以直接通過 pip 安裝 ui-tars 官方 Python 包，模型會將推理結果輸出為標準座標，並自動轉譯成可以直接執行的 pyautogui 程式碼。

如果你想在個人電腦上開箱即用，可以去下載專門打包好的 UI-TARS-desktop 客戶端；如果要做網頁端自動化測試，官方也推薦了配套的開源專案 Midscene.js。

模型權重方面，團隊此前已經在 Hugging Face 放出了 UI-TARS-1.5-7B 等版本，更高階的版本則提供給研究者申請體驗。

為什麼重要

對於苦於繁瑣重複勞動的開發者和效率愛好者來說，UI-TARS 是目前最值得上手的開源螢幕控制方案之一。它跳過了脆弱的 DOM 結構解析和複雜的系統 API 對接，只靠視覺截圖和鍵鼠模擬就能打通幾乎所有軟體，上手門檻比傳統 RPA 工具低得多。

我們認為，ByteDance 選擇將這類原生多模態控制能力徹底開源，是在正面叫板 Anthropic 和 OpenAI 的同類閉源能力。隨著 UI-TARS-2 補齊程式碼和工具呼叫，本地 AI 助理替人值守螢幕、自動跑完複雜跨軟體工作流的時代，看起來已經離日常使用不遠了。