跳到正文
IFAI

開源專案

阿里巴巴釋出 Mobile-Agent-v3.5:打通手機桌面與瀏覽器,20 多個基準拿第一

首次發布 傳播指數 48

阿里巴巴釋出跨平臺 GUI 智慧體 Mobile-Agent-v3.5,核心由基於 Qwen3-VL 的 GUI-Owl-1.5 系列驅動,引數覆蓋 2B 到 235B。它將手機、電腦與瀏覽器的感知、規劃和行動統一,並在 20 多個基準上拿到 SOTA。模型權重已開源,並在百鍊和魔搭提供體驗。

阿里巴巴釋出 Mobile-Agent-v3.5:打通手機桌面與瀏覽器,20 多個基準拿第一
圖:github.com

讓 AI 幫你幹活,最麻煩的往往不是指令有多複雜,而是要在不同的螢幕之間反覆橫跳。網頁上查到的資料,得手動貼進桌面辦公軟體;手機 App 裡的動態,電腦端又看不見。現在,阿里巴巴試圖把所有這些螢幕一把抓過來。

阿里巴巴釋出並開源了跨平臺圖形介面智慧體 Mobile-Agent-v3.5。驅動它的核心是全新的原生 GUI 基底模型 GUI-Owl-1.5 系列。這套模型基於 Qwen3-VL 打造,覆蓋了從極輕量的 2B 到龐大的 235B 引數規模,同時提供了 Instruct 和 Thinking 兩種版本,在 20 多個主流 GUI 基準測試中拿下了 SOTA。

手機、電腦與網頁串成一條線

傳統的自動化工具通常只能顧及一頭,要麼是個瀏覽器外掛,要麼依賴手機無障礙介面的指令碼。Mobile-Agent-v3.5 的邏輯則是端到端原生多模態,把桌面的 PC、掌心的移動端以及瀏覽器環境全部打通。

它將視覺感知、介面元素定位、多步邏輯推理、任務規劃與模擬點選操作收攏到一個模型框架下。在官方展示的任務中,它能跨應用完成極其連貫的操作。

比如讓它分別在 Edge 瀏覽器裡搜尋蘋果和輝達的最新股價,它查完會自動在後臺新建一個 WPS 表格,把公司名字填進 A 列,把抓到的股價填進 B 列。

在另一個場景裡,它能在旅行應用裡查詢指定日期的廣州到成都機票,找出最低價,接著切換到火車票檢索同一線路並進行價格對比;或者分別開啟小紅書和抖音上的同一個賬號,直接計算並彙總雙平臺的粉絲總數。

除了基礎的看螢幕和點按,這套系統還集成了長程記憶,並支援 MCP 工具呼叫協議,知道什麼時候該點介面、什麼時候該調後臺工具。

怎麼試,開放到什麼程度

阿里這次開源得相當徹底,GUI-Owl-1.5 的模型權重已經在 Hugging Face 上線,技術報告和程式碼也同步公開。

如果你不想在本地折騰部署,魔搭社群和阿里雲百鍊平臺已經上線了線上演示與 API。更務實的一點在於,它還接入了阿里雲無影雲手機和雲桌面環境,開發者甚至不需要自己找實體測試機,就能在雲端沙盒裡跑通移動端流程。

為什麼重要

我們認為,GUI 智慧體正在告別單點玩具的階段,走向通用的系統級底層。阿里這次最聰明的地方在於引數跨度的佈局。

下探到 2B 和 4B 的輕量版本,意味著未來完全有機會直接塞進端側裝置,做本地的即時操作;而 235B 的大版本則可以在雲端處理複雜的長鏈條跨端任務。不給每個平臺重複造輪子,而是用統一的多模態視覺基底來兜底,思路非常清晰。

對開發者和企業來說,這意味著跨系統的自動化工作流門檻驟降,不需要再針對不同的作業系統和解析度寫死指令碼。當然,這類操作型智慧體最大的挑戰從來不是跑通 demo,而是容錯率。只要在複雜的企業級介面上點錯一步,後續的鏈條就可能全部脫節。但無論如何,能把移動端、桌面端和瀏覽器串在同一個大腦之下,阿里巴巴已經拿出了目前最具實用價值的落地形態之一。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選