MS 코파일럿 스튜디오, 화면 보고 앱 제어하는 '컴퓨터 유즈' 탑재

API가 지원되지 않는 오래된 사내 전산 시스템에 대량의 데이터를 수작업으로 옮겨 넣는 작업은 많은 실무자들의 골칫거리였습니다. 기존의 RPA 솔루션을 도입해도, 화면의 버튼 위치나 디자인이 조금만 바뀌면 스크립트가 그대로 멈추기 일쑤였습니다.

마이크로소프트가 4월 15일 자사의 엔터프라이즈 플랫폼 Copilot Studio에 컴퓨터를 직접 조작하는 computer use 기능을 발표했습니다. 현재는 얼리 액세스 연구 프리뷰 형태로 제공됩니다.

쉽게 말해 AI 에이전트가 사람처럼 모니터 화면을 보고 마우스를 클릭하며 키보드로 데이터를 입력하도록 만든 것입니다.

화면 변화 알아채고 스스로 고치는 UI 자동화

마이크로소프트는 지난달 Copilot Studio에 심층 추론 역량과 MCP 프로토콜 지원, 에이전트 플로우를 공식 출시한 데 이어 이번 기능을 추가했습니다.

이 기능을 활용하면 AI 에이전트가 웹사이트와 데스크톱 프로그램을 일반 도구처럼 인식합니다. 사람이 쓸 수 있는 소프트웨어라면 전용 API가 없더라도 에이전트가 화면 UI를 직접 다룰 수 있습니다.

윈도우 데스크톱 프로그램뿐만 아니라 Edge, Chrome, Firefox 등 주요 웹 브라우저를 모두 지원합니다. 기존 자동화 스크립트와 달리 내장된 추론 능력을 사용해 화면 구성이 바뀌어도 실시간으로 대처하며 작업을 이어갑니다.

제작 과정에 별도의 코딩은 필요하지 않으며 자연어로 지시하면 됩니다. 테스트 화면에서는 AI가 어떤 논리로 판단했는지 보여주는 추론 과정과 실제 화면 조작 영상이 나란히 표시되어 프롬프트를 쉽게 수정할 수 있습니다.

조작 내역은 단계별 스크린샷과 추론 기록으로 투명하게 보관됩니다. 또한 마이크로소프트가 호스팅하는 클라우드 환경에서 구동되므로 기업이 자체 인프라를 구축할 필요가 없으며, 기업 데이터는 프론티어 모델 학습에 활용되지 않습니다.

마이크로소프트는 오는 5월 열리는 Microsoft Build 콘퍼런스에서 더 구체적인 내용을 공개할 계획입니다.

왜 중요한가

우리는 이번 발표가 마이크로소프트가 기존 RPA 시장의 핵심 영역을 정조준한 행보라고 봅니다.

기업 실무자 관점에서의 가치는 명확합니다. 인보이스 입력이나 웹 데이터 수집처럼 손이 많이 가지만 API 연동이 불가능했던 레거시 작업을 비전문가도 자연어 몇 줄로 자동화할 수 있게 됩니다. 유지보수 비용 때문에 RPA 도입을 망설였던 영역에 바로 적용해 볼 만합니다.

하지만 당장 모든 업무를 AI에 맡기기에는 신중할 필요가 있습니다. 아무리 화면 인식과 추론이 똑똑해졌다고 해도 시각적 환각으로 인한 오클릭이나 입력 오류 가능성은 여전히 남아 있습니다. 금융 결제나 핵심 DB 수정처럼 한 번의 실수가 치명적인 업무라면 적어도 연구 프리뷰 단계에서는 사람의 검토 과정이 필수적입니다.

경쟁 구도 측면에서 보면 마이크로소프트의 방식은 영리합니다. 작년 말 앤트로픽이 먼저 선보였던 컴퓨터 조작 개념을, 기업 고객이 즉시 결제할 수 있는 Copilot Studio 생태계와 보안 및 클라우드 인프라 안에 자연스럽게 녹여냈습니다. 규칙 기반 스크립트에 의존해 온 기존 RPA 전문 기업들에게는 강력한 생존 위협이 될 것으로 보입니다.