싱가포르국립대, 매끄러운 마우스 드래그 지원하는 AI 'ShowUI-π' 공개

ShowUI-π는 데스크톱 AI 에이전트가 가장 어려워하던 마우스 드래그, 손글씨 입력, 연속 궤적 조작을 해결하기 위해 개발된 450M 파라미터 크기의 경량 비전-언어-액션 모델입니다.

화면 조작을 단순한 좌표 점 찍기가 아닌 연속적인 궤적으로 처리하여, 마치 사람이 마우스를 쥐고 움직이는 듯한 정밀한 조작을 구현합니다.

어떤 작업이 가능한가

기존 컴퓨터 제어 에이전트들은 버튼을 클릭하거나 텍스트를 입력하는 작업은 잘 수행하지만, 마우스 버튼을 누른 채 길게 끌어야 하는 드래그 작업에서는 경로가 끊기거나 실패하기 일쑤였습니다.

ShowUI-π는 바로 이 문제를 해결합니다. 그림판에서 글씨를 쓰거나 선을 그리고, 어도비 프리미어 프로 타임라인에서 영상 클립을 원하는 위치로 옮기며, 파워포인트에서 도형 크기를 미세하게 조절할 수 있습니다.

특히 인터랙티브 캡차 해결에서 강력한 성능을 보입니다. 슬라이더 맞추기, 지정 각도 회전 캡차, 궤적 드래그 캡차 등 화면 변화를 실시간으로 확인하며 마우스를 움직여야 하는 작업을 매끄럽게 처리합니다.

연구진은 5개 영역 505개 드래그 과제와 2만 건의 궤적 데이터로 구성된 ScreenDrag 벤치마크를 구축해 성능을 검증했습니다.

ShowUI-π는 온라인 성공률 26.98%를 기록하며 최저 궤적 오차를 달성했습니다. 이는 7B 크기의 오픈소스 모델인 OpenCUA-7B(21.98%)는 물론, 대형 독점 모델인 Gemini-2.5-CUA(22.18%)를 앞서는 수치입니다.

특히 회전 캡차에서는 55.91%의 성공률을 기록해 Gemini-2.5-CUA(3.96%)를 크게 앞섰으며, 대부분의 에이전트가 0%에 머문 손글씨 과제에서도 34.32%를 달성했습니다. 프리미어 프로 영상 편집에서도 대다수 모델이 0%에 그친 반면 8.64%의 성공률을 냈습니다.

어떻게 작동하는가

기존 GUI 모델들은 화면 내 클릭 위치를 불연속적인 텍스트 토큰 좌표로 예측했습니다. 이 방식은 단발성 클릭에는 적합하지만, 긴 드래그 조작을 부드럽게 이어가거나 화면 변화에 맞춘 실시간 폐루프 제어를 구현하기 어려웠습니다.

ShowUI-π는 플로우 매칭(Flow Matching) 생성 모델을 도입해 클릭과 드래그를 마우스 상태가 포함된 일련의 커서 경로점으로 통합했습니다.

연속적인 화면 프레임을 관찰하면서 가벼운 액션 전문가 네트워크가 커서의 미세 이동량을 실시간으로 출력합니다.

덕분에 화면 위에서 뚝뚝 끊기지 않고 물 흐르듯 자연스러운 마우스 궤적을 만들어낼 수 있습니다.

실행 방법과 한계

싱가포르국립대 쇼랩(Show Lab) 연구진이 개발했으며, 논문은 arXiv에, 소스 코드는 깃허브에 공개되었습니다.

다만 현재 깃허브 저장소의 문서화가 미흡하여 바로 설치해 사용하려면 환경 설정과 의존성을 직접 분석해야 하는 번거로움이 있습니다.

뚜렷한 성능 한계도 존재합니다. 일반 OS 파일 관리 작업의 경우 성공률이 13.11%에 머물러, OpenCUA-7B(99.01%)나 Gemini-2.5-CUA(86.14%)에 크게 미치지 못합니다.

즉, 모든 데스크톱 업무를 혼자 처리하는 범용 에이전트라기보다는 섬세한 조작이 필요한 영역에 특화된 액션 모델입니다.

왜 중요한가

이 연구는 GUI 에이전트 발전 과정에서 간과되었던 마우스 물리 조작이라는 병목을 정확히 짚어냈습니다. 수십억 개 파라미터를 가진 대형 모델이라도 좌표를 텍스트 토큰으로만 다루는 한 슬라이더 하나 매끄럽게 밀지 못합니다.

단 450M 크기의 초경량 모델이 비디오 편집과 캡차 영역에서 거대 모델을 능가했다는 사실은 매우 흥미롭습니다. 상위 계획은 대형 파운데이션 모델이 맡고, 정밀한 손동작은 ShowUI-π 같은 특화 액션 모델이 전담하는 모듈형 에이전트 구조의 가능성을 보여줍니다. 데스크톱 자동화 파이프라인을 구축 중인 엔지니어라면 눈여겨볼 만하며, 본격적인 도입은 공식 문서가 보강된 이후 시도하는 것을 권장합니다.