바이트댄스, 화면 직접 제어하는 UI-TARS 에이전트 공개

UI-TARS는 사용자를 대신해 컴퓨터와 스마트폰 화면을 직접 보고 마우스 클릭, 텍스트 입력, 스크롤 등을 수행하는 바이트댄스의 오픈소스 GUI 제어 에이전트입니다.

바이트댄스는 기존 UI-TARS-1.5에서 한 단계 도약한 올인원 에이전트 모델 UI-TARS-2 출시를 발표했습니다. 화면 조작 성능뿐 아니라 게임 플레이, 코드 작성, 외부 도구 호출 능력을 하나로 묶은 것이 특징입니다.

무엇을 할 수 있나

UI-TARS는 실행 환경에 맞춘 다양한 프롬프트 템플릿을 기본 제공합니다.

Windows, macOS, Linux 데스크톱 환경에서는 좌우 클릭, 더블 클릭, 드래그, 단축키 입력, 텍스트 타이핑, 휠 스크롤을 폭넓게 지원합니다. 웹 브라우징부터 문서 작업, 로컬 파일 정리까지 사람의 일상적인 PC 작업을 그대로 흉내 낼 수 있습니다.

안드로이드 기기나 에뮬레이터 환경에서는 길게 누르기, 앱 실행, 홈 버튼 및 뒤로 가기 같은 모바일 전용 제스처를 지원합니다.

일반적인 GUI 작업 외에 게임 조작 능력도 뛰어납니다. 공식 테스트에 따르면 Poki 웹 게임 플랫폼의 퍼즐 게임 다수에서 만점을 기록했으며, 마인크래프트 내 자원 채집과 몬스터 사냥 같은 연속 작업에서도 기존 강화학습 모델들을 앞섰습니다.

구현 방식과 성능

UI-TARS는 시각 언어 모델을 바탕으로 화면 요소를 절대 좌표로 파악하며, 강화학습을 통해 행동을 취하기 전 먼저 생각하는 추론 단계를 거치도록 설계되었습니다.

행동 전 사고 과정 덕분에 단계가 긴 작업에서도 안정성이 높습니다. 컴퓨터 제어 벤치마크인 OSWorld 100단계 평가에서 UI-TARS-1.5는 42.5점을 기록해 OpenAI CUA의 36.4점과 Claude 3.7의 28점을 모두 넘어섰습니다.

화면 요소 인식 성능을 측정하는 ScreenSpotPro에서도 61.6점을 기록하며 주요 상용 모델 대비 확실한 우위를 보였습니다.

다만 장시간 작업 시 연산 자원 소모가 크고 낯선 인터페이스에서 오작동이 발생할 수 있으며, CAPTCHA 같은 보안 인증을 통과할 수 있어 오용 방지 대책이 필요하다는 한계도 함께 언급되었습니다.

실행 방법

프로젝트는 깃허브 bytedance/UI-TARS 저장소에 공개되어 있습니다. pip install ui-tars 명령어로 패키지를 설치하면 모델의 추론 결과를 pyautogui 실행 코드로 손쉽게 변환해 적용할 수 있습니다.

개인 PC에서 별도 설정 없이 바로 다뤄보고 싶다면 UI-TARS-desktop을 활용할 수 있고, 웹 브라우저 자동화가 목적이라면 오픈소스 프로젝트인 Midscene.js와 연동하면 됩니다.

모델 가중치는 허깅페이스를 통해 UI-TARS-1.5-7B 등이 배포되었으며, 최상위 모델은 연구 협력 신청을 통해 지원하고 있습니다.

왜 중요한가

깨지기 쉬운 DOM 트리나 복잡한 개별 앱 API에 매달리지 않고, 순수 시각 정보와 마우스 조작만으로 프로그램을 자동화하려는 개발자에게 UI-TARS는 가장 실용적인 오픈소스 대안입니다.

우리는 바이트댄스가 컴퓨터 제어 에이전트 기술을 오픈소스로 생태계에 푼 것이 Anthropic이나 OpenAI의 폐쇄형 컴퓨터 제어 기능에 맞서는 영리한 행보라고 봅니다. UI-TARS-2를 통해 코드와 도구 활용까지 갖춰지면서, 로컬 기기에서 AI가 사용자의 복잡한 화면 작업을 대신 처리해 주는 환경이 한층 현실로 다가왔습니다.