ShowUI-Aloha: 사람의 화면 조작 1회 시연으로 PC 업무 학습하는 AI

AI에게 PC 작업을 맡길 때 가장 큰 문제는 텍스트를 못 읽는 것이 아니라, 실제 운영체제 환경에서 너무 쉽게 길을 잃는다는 점입니다. 프롬프트로 파일 수정을 지시하면 폴더 검색 루프에 빠져 헤매거나, 복잡한 서브 메뉴 앞에서 엉뚱한 버튼을 누르기 일쑤입니다.

ShowLab이 오픈소스로 공개한 ShowUI-Aloha는 이 문제를 매우 실용적인 방식으로 풀었습니다. 말로 설명하기보다, 사람이 직접 한 번 해 보이는 것입니다.

단순 매크로가 아닌, 작업 흐름의 추상화

ShowUI-Aloha는 Windows와 macOS에서 동작하는 컴퓨터 조작 AI 에이전트입니다. 사용자가 화면 녹화기를 켜고 평소처럼 마우스와 키보드로 작업을 시연하면, 시스템이 화면과 입력 로그를 모두 기록합니다.

이 시스템의 핵심은 좌표 기반의 단순 매크로 재생이 아니라는 점입니다. Learner 모듈이 단순 클릭이나 타이핑 로그를 '브라우저 열기', '양식 작성', '슬라이드 저장'과 같은 고수준의 의미 단위로 묶어냅니다. 이후 Planner 모듈이 새로운 자연어 작업 명령을 받았을 때 이 학습된 작업 궤적을 상황에 맞게 변형해 적용합니다.

항공권 예매 과정을 한 번 시연해 두면 날짜와 목적지가 바뀌어도 스스로 입력창을 찾아 예매를 완료합니다. 엑셀에서 행렬 전치 작업을 한 번 가르쳐 두면, 새로운 스프레드시트에서도 해당 메뉴를 찾아 작업을 처리합니다. 실제 데스크톱 작업 361개로 구성된 OSWorld 벤치마크에서 Aloha는 217개 작업을 완수하며 60.1%의 엄격한 성공률을 기록했습니다.

상용 에이전트가 헤매는 디테일을 시연으로 돌파

연구팀이 공개한 상용 에이전트와의 비교 사례는 꽤 흥미롭습니다.

로컬 GitHub 저장소를 찾아 코드를 수정하는 작업에서, 상용 모델은 저장소가 '문서/GitHub' 경로에 있다는 점을 유추하지 못해 폴더 탐색 루프에 갇혔습니다. 반면 Aloha는 사람이 시연한 경로를 재사용해 정확히 찾아갔습니다.

파워포인트 배경색 변경에서도 상용 모델은 리본 메뉴의 작은 아이콘을 잘못 클릭해 노란색 대신 주황색을 적용하고 연쇄 오류를 냈지만, Aloha는 사람이 가르쳐준 위치를 정확히 선택했습니다. 엑셀의 복사 메뉴 깊숙이 숨어 있는 '행/열 바꿈' 옵션을 찾는 일 역시 시연을 학습한 Aloha만 성공했습니다.

프로젝트는 MIT 라이선스로 전면 공개되었으며, 실행을 위해서는 사용자가 직접 VLM API 키를 설정해야 합니다.

왜 중요한가

우리는 ShowUI-Aloha가 매우 영리한 절충점을 찾았다고 봅니다. 복잡한 데스크톱 UI를 파운데이션 모델의 제로샷 추론만으로 해결하려는 무리한 시도 대신, 인간의 '1회 시연'을 닻으로 삼아 탐색 비용과 실패 확률을 대폭 줄였기 때문입니다.

개발자와 일반 사용자 입장에서는 전용 자동화 스크립트를 짜기 애매했던 반복 작업, 예를 들어 특정 소프트웨어의 복잡한 서식 변경이나 레거시 프로그램 간 데이터 이동을 단 1분의 녹화만으로 에이전트에게 전담시킬 수 있게 됩니다.

물론 한계도 명확합니다. 사람의 시연 흐름에 크게 의존하기 때문에, 소프트웨어 인터페이스가 대대적으로 바뀌거나 시연에 없던 예외 팝업이 뜰 때 얼마나 유연하게 대처할 수 있을지는 검증이 더 필요합니다. 연구팀 역시 세밀한 UI 요소 인식과 텍스트 드래그 편집 개선을 로드맵 과제로 남겨두었습니다.

그럼에도 프롬프트 엔지니어링에만 매달리는 대신 '보고 배우는' 시연 학습 방식을 도입한 것은, 데스크톱 AI가 실제 업무 현장으로 들어오는 가장 현실적인 지름길로 보입니다.