홍콩대, PC 제어 오픈소스 에이전트 프레임워크 'OpenCUA' 공개

OpenCUA는 홍콩대학교 XLANG 연구실 등 연구진이 공개한 오픈소스 컴퓨터 제어 에이전트(CUA) 프레임워크입니다. 시각 언어 모델이 인간 사용자처럼 화면을 보고, 마우스를 클릭하고, 키보드를 입력하며 데스크톱 작업을 자율적으로 수행하도록 돕습니다.

오픈AI나 앤스로픽의 컴퓨터 제어 기술은 학습 데이터와 개발 과정이 철저히 비공개로 유지되어 왔습니다. 반면 OpenCUA는 데이터 수집 도구부터 학습 파이프라인, 평가 벤치마크까지 전 과정을 오픈소스로 투명하게 공개하며 독점 모델을 바짝 뒤쫓고 있습니다.

3개 운영체제를 아우르는 2만 2600건의 작업 데이터

컴퓨터 조작 에이전트를 만들 때 가장 큰 걸림돌은 실제 환경의 대규모 행동 데이터였습니다. OpenCUA는 백그라운드에서 동작하는 전용 수집기 AgentNet Tool을 제작해 이 문제를 풀었습니다.

화면 녹화 영상과 마우스, 키보드 조작 내역뿐만 아니라, 화면 구성 요소의 정보를 담고 있는 접근성 트리(Accessibility Tree)까지 함께 추출합니다. 이렇게 모인 원시 데이터는 화면 상태와 인간의 행동이 짝지어진 정제된 데이터로 변환됩니다.

연구진은 이 도구를 활용해 윈도우, 맥OS, 우분투를 넘나드는 2만 2600여 건의 작업 시연 데이터셋인 AgentNet을 구축했습니다. 다루는 소프트웨어와 웹사이트만 200개가 넘습니다.

화면 캡처 과정에서 발생할 수 있는 보안 문제도 꼼꼼히 설계했습니다. 데이터 생성자가 제출 전 내용을 직접 확인하고 수정할 수 있으며, 이후 수작업 검수와 대형 모델을 활용한 자동 스캔을 거쳐 민감 정보가 외부에 노출되지 않도록 차단합니다.

3단계 '내면의 독백'으로 추론을 불어넣다

단순히 화면 스크린샷과 클릭 좌표만 모델에 먹여서는 복잡한 작업을 학습시킬 수 없습니다. 데이터 양을 아무리 늘려도 성능 향상에 뚜렷한 한계가 있었습니다.

OpenCUA가 찾아낸 해법은 바로 생각의 연쇄(CoT) 추론입니다. 모든 조작 단계마다 모델이 스스로 판단할 수 있는 3단계의 체계적인 '내면의 독백'을 생성해 학습에 반영했습니다.

첫 단계에서는 현재 화면을 넓게 관찰하고, 두 번째 단계에서는 과거 기억과 현재 상황을 종합해 다음 작업을 계획하며, 마지막 세 번째 단계에서 구체적인 실행 명령을 내립니다. 이러한 사고 과정 덕분에 모델은 처음 보는 UI 앞에서도 논리적으로 행동을 이어갈 수 있습니다. 연구진은 평가 속도를 끌어올리기 위해 한 단계당 여러 정답을 인정하는 오프라인 벤치마크 AgentNetBench도 함께 내놓았습니다.

왜 중요한가

데스크톱 자동화나 자율 에이전트를 연구하는 개발자라면 OpenCUA를 당장 살펴볼 가치가 충분합니다. 모델 가중치만 툭 던져주는 것이 아니라, 데이터 수집기부터 사고 체계 구축법까지 에이전트 개발의 모든 레시피를 온전히 제공하기 때문입니다.

이 프로젝트의 진짜 강점은 컴퓨터 제어라는 까다로운 문제를 단순한 화면 인식 대신 '언어적 논리 추론'으로 재정의했다는 데 있습니다. 폐쇄형 기업들이 쥐고 있던 컴퓨터 제어 기술의 주도권을 오픈소스 생태계로 끌어오는 중요한 전환점이 될 것으로 보입니다.