字节跳动开源 UI-TARS：让智能体直接替你操控桌面与手机

UI-TARS 是 ByteDance 开源的端到端 GUI 操作智能体，能像真人一样看懂电脑和手机屏幕，直接替你移动鼠标、点击图标、输入文本和切换应用。

ByteDance 宣布推出全新的 UI-TARS-2。官方将其定位为多合一智能体，在先前 UI-TARS-1.5 的基础上，进一步强化了图形界面操作、游戏试玩、编程以及外部工具调用能力。

它能做什么

UI-TARS 针对不同平台准备了专门的动作提示词模板。

在 Windows、macOS 或 Linux 桌面上，它支持鼠标单击、双击、右键、拖拽、快捷键组合、文本输入和滚轮滑动，适合处理浏览器搜集信息、办公软件填表和本地文件整理。

在安卓设备或模拟器上，它适配了长按、返回、主屏幕键以及启动应用等专属手势。

除了常规办公，模型在游戏操作上的表现也很亮眼。在官方测试里，它在 Poki 平台的多款益智网页游戏中拿到了满分，并在《我的世界》伐木和打怪等长链路任务中大幅领先此前的强化学习基线。

怎么做到的与实际表现

UI-TARS 基于强大的视觉语言模型构建，底层利用绝对坐标来定位屏幕元素，并借助强化学习让模型在动手前先进行思维推理。

这种先思考再操作的机制显著提升了长步骤任务的稳定性。在计算机操作基准 OSWorld 的 100 步测试中，UI-TARS-1.5 拿到了 42.5 分，高于 OpenAI CUA 的 36.4 和 Claude 3.7 的 28 分。

在界面元素定位评测 ScreenSpotPro 上，它的得分达到 61.6，同样明显高于同类商用模型。

不过官方也指出了它的软肋。长时间操作或跑大型游戏时算力消耗极高，面对生僻界面偶有幻觉和误点，而且因为具备突破验证码的能力，滥用风险也需要防范。

怎么跑起来

项目已经在 GitHub 开源。开发者可以直接通过 pip 安装 ui-tars 官方 Python 包，模型会将推理结果输出为标准坐标，并自动转译成可以直接执行的 pyautogui 代码。

如果你想在个人电脑上开箱即用，可以去下载专门打包好的 UI-TARS-desktop 客户端；如果要做网页端自动化测试，官方也推荐了配套的开源项目 Midscene.js。

模型权重方面，团队此前已经在 Hugging Face 放出了 UI-TARS-1.5-7B 等版本，更高级的版本则提供给研究者申请体验。

为什么重要

对于苦于繁琐重复劳动的开发者和效率爱好者来说，UI-TARS 是目前最值得上手的开源屏幕控制方案之一。它跳过了脆弱的 DOM 结构解析和复杂的系统 API 对接，只靠视觉截屏和键鼠模拟就能打通几乎所有软件，上手门槛比传统 RPA 工具低得多。

我们认为，ByteDance 选择将这类原生多模态控制能力彻底开源，是在正面叫板 Anthropic 和 OpenAI 的同类闭源能力。随着 UI-TARS-2 补齐代码和工具调用，本地 AI 助理替人值守屏幕、自动跑完复杂跨软件工作流的时代，看起来已经离日常使用不远了。