알리바바, 'Mobile-Agent-v3.5' 공개: PC·모바일·웹 넘나드는 GUI 에이전트

AI에게 일을 시킬 때 가장 번거로운 순간은 여러 화면을 넘나들어야 할 때입니다. 웹 브라우저에서 찾은 데이터를 데스크톱 문서에 수동으로 옮겨 적고, 스마트폰 앱 화면은 PC에서 바로 건드릴 수 없는 단절이 존재했습니다. 알리바바의 새 에이전트는 이 경계를 허무는 데 집중합니다.

알리바바는 크로스 플랫폼 GUI 에이전트인 Mobile-Agent-v3.5를 오픈소스로 공개했습니다. 이 시스템을 구동하는 핵심 기반은 Qwen3-VL을 바탕으로 구축된 GUI-Owl-1.5 모델군입니다. 가벼운 2B부터 대규모인 235B까지 폭넓은 크기를 지원하며, Instruct와 Thinking 버전으로 나뉩니다. 20개 이상의 주요 GUI 벤치마크에서 최고 성능(SOTA)을 달성했습니다.

PC, 모바일, 웹을 넘나드는 통합 조작

기존 자동화 도구들은 브라우저 플러그인에 갇혀 있거나 스마트폰 접근성 기능에만 의존하는 경우가 많았습니다. Mobile-Agent-v3.5는 데스크톱, 모바일, 브라우저 전반의 화면 인지, 요소 타겟팅, 논리적 계획, 클릭과 스크롤 같은 행동 실행을 하나의 엔드투엔드 멀티모달 프레임워크로 묶었습니다.

실제 시연에서도 앱 간 전환 작업이 매끄럽게 이어집니다. Edge 브라우저에서 주가를 검색한 뒤 WPS Office를 열어 A열에는 기업명, B열에는 검색한 주가를 스프레드시트에 자동으로 정리합니다.

여행 앱에서 특정 날짜의 최저가 항공권을 찾은 뒤 같은 구간의 기차표 가격을 비교하거나, 소셜 미디어 앱들을 번갈아 열어 특정 계정의 총 팔로워 수를 합산해 알려주는 작업도 막힘없이 수행합니다. 긴 맥락을 기억하는 장기 기억과 MCP 툴 호출 지원도 포함되어 있습니다.

공개 범위와 체험 경로

접근성도 열려 있습니다. GUI-Owl-1.5의 모델 가중치와 기술 보고서, 코드가 Hugging Face에 공개되었습니다. 로컬 환경 구축이 부담스럽다면 모델스코프와 알리바바 클라우드 바이롄 플랫폼에서 온라인 데모와 API를 이용할 수 있습니다. 우잉 클라우드 폰과 연동되어 있어 실물 기기 없이도 클라우드 가상 안드로이드 환경에서 모바일 테스트를 바로 진행할 수 있습니다.

왜 중요한가

GUI 에이전트가 단편적인 실험을 넘어 통합 운영체제 대리인으로 진화하고 있음을 보여줍니다. 알리바바가 취한 2B부터 235B까지의 파라미터 배치는 매우 실용적입니다.

초경량 모델은 향후 온디바이스에서 빠른 인터페이스 반응을 구현하는 데 적합하고, 235B 모델은 복잡한 다단계 업무를 클라우드에서 총괄하기에 알맞습니다. 플랫폼마다 별도의 스크립트를 짜지 않고도 하나의 시각 기반 두뇌로 장치를 넘나들 수 있다는 점은 개발자와 기업 자동화 관점에서 큰 진전입니다.

물론 한 번의 클릭 실수가 전체 작업을 망칠 수 있는 실환경 UI의 복원력 문제는 여전히 남아 있습니다. 그럼에도 모바일과 데스크톱, 웹을 완전히 묶어낸 오픈 가중치 모델을 제시했다는 점에서 시장에 미칠 파급력은 작지 않습니다.