본문으로 건너뛰기
IFAI

AI 도구

MS 코파일럿 스튜디오, 컴퓨터 직접 다루는 'Computer use' 공개 프리뷰 출시

게시 확산 지수 41

마이크로소프트가 코파일럿 스튜디오에서 'Computer use' 공개 프리뷰를 시작했다. API가 없는 웹사이트나 데스크톱 앱에서도 AI 에이전트가 화면을 인식해 데이터 수집과 폼 입력을 대신 수행한다. 현재 미국 리전 환경에서 바로 추가할 수 있다.

MS 코파일럿 스튜디오, 컴퓨터 직접 다루는 'Computer use' 공개 프리뷰 출시
이미지: microsoft.com

많은 기업에서 가장 번거로운 업무는 화려한 신기술 도입이 아니라, API 지원조차 안 되는 낡은 사내 프로그램에 웹 화면의 수치를 일일이 복사해 붙여넣는 일입니다.

기존의 RPA 도구는 버튼 위치나 웹 화면 구성이 조금만 바뀌어도 오류를 뿜어내며 멈추기 일쑤였습니다. 마이크로소프트가 이 문제를 생성형 AI의 시각적 추론 능력으로 해결하겠다고 나섰습니다.

마이크로소프트는 9월 15일 Copilot Studio의 컴퓨터 사용(Computer use) 기능을 공개 프리뷰로 전환했다고 밝혔습니다. 현재 미국 기반 환경을 사용하는 고객들은 에이전트에 이 기능을 도구 형태로 즉시 추가할 수 있습니다.

사용자가 자연어로 원하는 작업을 지시하면, 에이전트가 자체 컴퓨터를 사용해 웹사이트와 데스크톱 애플리케이션을 직접 조작하며 업무를 완수하는 방식입니다.

윈도우 365 클라우드 환경과 동적 화면 적응력

이번 프리뷰 공개와 함께 실무 적용을 돕는 기능들이 대거 보강되었습니다.

우선 윈도우 365 기반의 호스팅 브라우저가 기본 제공됩니다. 별도로 PC 환경을 세팅하지 않아도 웹 기반 자동화 작업을 즉시 돌릴 수 있습니다. 내부 인트라넷이나 자체 설치형 데스크톱 소프트웨어를 다뤄야 할 때는 기업 자체 머신을 직접 등록해 쓸 수도 있습니다.

이미 파워 오토메이트에서 데스크톱 플로우를 돌리던 환경이 있다면, 해당 머신을 그대로 코파일럿 스튜디오에 연결해 재사용할 수 있습니다.

화면 레이아웃이 자주 바뀌거나 차트와 이미지를 해석해야 하는 작업에서도 강점을 보입니다. 내장된 추론 엔진이 실시간으로 화면 변동을 파악하며, 테스트 시에는 화면 조작 모습과 에이전트의 추론 과정을 나란히 놓고 모니터링할 수 있습니다.

보안 대책도 마련되었습니다. 로그인 자격 증명을 안전하게 보관해 호출하는 기능과 함께 화이트리스트 기능이 들어갔습니다. 에이전트가 접근 가능한 사이트와 프로그램을 사전에 지정할 수 있으며, 허용 목록을 벗어나는 즉시 작업이 강제 종료됩니다.

왜 중요한가

우리는 마이크로소프트의 이번 행보가 컴퓨터 조작 AI를 개발자용 실험실 밖으로 끌어내 본격적인 기업용 비즈니스 영역에 안착시킨 영리한 수라고 봅니다. 앤트로픽 등이 화면 조작 기능을 먼저 공개해 화제를 모았지만, 마이크로소프트는 이를 윈도우 365, 파워 오토메이트, 자격 증명 보안 체계와 결합해 즉시 도입 가능한 패키지로 완성했습니다.

오래된 레거시 시스템을 뜯어고칠 여력이 없는 기업이나 실무자에게는 상당한 기회입니다. 수작업으로 진행하던 시장 조사, 재고 모니터링, API 없는 서식 데이터 입력 같은 반복 업무에 당장 시험 도입해 볼 가치가 있습니다.

하지만 마우스와 키보드의 직접 제어권을 모델에 넘기는 작업은 여전히 본질적인 위험을 안고 있습니다. 사이트 허용 목록을 지정하더라도 엉뚱한 버튼을 클릭하거나 잘못된 값을 입력할 가능성은 열려 있습니다. 따라서 지금 단계에서는 중요한 데이터의 수정이나 결제 같은 핵심 쓰기 작업보다는, 데이터 조회나 수집 같은 확인형 업무부터 조심스럽게 적용하는 것이 현명해 보입니다.

출처 (1)

  1. [1]
    microsoft.com(새 탭에서 열림)원문microsoft.com

매일 AI 콘텐츠 픽