阿里巴巴发布 Mobile-Agent-v3.5:打通手机桌面与浏览器,20 多个基准拿第一
阿里巴巴发布跨平台 GUI 智能体 Mobile-Agent-v3.5,核心由基于 Qwen3-VL 的 GUI-Owl-1.5 系列驱动,参数覆盖 2B 到 235B。它将手机、电脑与浏览器的感知、规划和行动统一,并在 20 多个基准上拿到 SOTA。模型权重已开源,并在百炼和魔搭提供体验。

让 AI 帮你干活,最麻烦的往往不是指令有多复杂,而是要在不同的屏幕之间反复横跳。网页上查到的数据,得手动贴进桌面办公软件;手机 App 里的动态,电脑端又看不见。现在,阿里巴巴试图把所有这些屏幕一把抓过来。
阿里巴巴发布并开源了跨平台图形界面智能体 Mobile-Agent-v3.5。驱动它的核心是全新的原生 GUI 基底模型 GUI-Owl-1.5 系列。这套模型基于 Qwen3-VL 打造,覆盖了从极轻量的 2B 到庞大的 235B 参数规模,同时提供了 Instruct 和 Thinking 两种版本,在 20 多个主流 GUI 基准测试中拿下了 SOTA。
手机、电脑与网页串成一条线
传统的自动化工具通常只能顾及一头,要么是个浏览器插件,要么依赖手机无障碍接口的脚本。Mobile-Agent-v3.5 的逻辑则是端到端原生多模态,把桌面的 PC、掌心的移动端以及浏览器环境全部打通。
它将视觉感知、界面元素定位、多步逻辑推理、任务规划与模拟点击操作收拢到一个模型框架下。在官方展示的任务中,它能跨应用完成极其连贯的操作。
比如让它分别在 Edge 浏览器里搜索苹果和英伟达的最新股价,它查完会自动在后台新建一个 WPS 表格,把公司名字填进 A 列,把抓到的股价填进 B 列。
在另一个场景里,它能在旅行应用里查询指定日期的广州到成都机票,找出最低价,接着切换到火车票检索同一线路并进行价格对比;或者分别打开小红书和抖音上的同一个账号,直接计算并汇总双平台的粉丝总数。
除了基础的看屏幕和点按,这套系统还集成了长程记忆,并支持 MCP 工具调用协议,知道什么时候该点界面、什么时候该调后台工具。
怎么试,开放到什么程度
阿里这次开源得相当彻底,GUI-Owl-1.5 的模型权重已经在 Hugging Face 上线,技术报告和代码也同步公开。
如果你不想在本地折腾部署,魔搭社区和阿里云百炼平台已经上线了在线演示与 API。更务实的一点在于,它还接入了阿里云无影云手机和云桌面环境,开发者甚至不需要自己找实体测试机,就能在云端沙盒里跑通移动端流程。
为什么重要
我们认为,GUI 智能体正在告别单点玩具的阶段,走向通用的系统级底层。阿里这次最聪明的地方在于参数跨度的布局。
下探到 2B 和 4B 的轻量版本,意味着未来完全有机会直接塞进端侧设备,做本地的即时操作;而 235B 的大版本则可以在云端处理复杂的长链条跨端任务。不给每个平台重复造轮子,而是用统一的多模态视觉基底来兜底,思路非常清晰。
对开发者和企业来说,这意味着跨系统的自动化工作流门槛骤降,不需要再针对不同的操作系统和分辨率写死脚本。当然,这类操作型智能体最大的挑战从来不是跑通 demo,而是容错率。只要在复杂的企业级界面上点错一步,后续的链条就可能全部脱节。但无论如何,能把移动端、桌面端和浏览器串在同一个大脑之下,阿里巴巴已经拿出了目前最具实用价值的落地形态之一。
来源 (1)
- github.com(在新标签页打开)原文github.com