MS, 화면 보고 직접 클릭하는 CUA 및 Responses API 공개

AI로 업무를 자동화하려 할 때 가장 골치 아픈 문제는 레거시 소프트웨어입니다. API가 없으면 화면 좌표가 조금만 바뀌어도 깨지는 취약한 RPA 스크립트에 의존해야만 했습니다.

마이크로소프트는 3월 11일 Azure AI Foundry를 통해 화면을 직접 보고 프로그램을 다루는 전용 모델 'Computer-Using Agent(CUA)'와 도구 호출을 간소화한 'Responses API'를 공개했습니다.

화면 보고 마우스 클릭하는 AI 모델, CUA

CUA는 사용자의 자연어 명령을 바탕으로 그래픽 사용자 인터페이스(GUI)를 분석해 버튼을 누르고 서식을 입력하는 Azure OpenAI Service의 특화 모델입니다. 웹 서비스뿐만 아니라 데스크톱 소프트웨어까지 직접 조작합니다.

PC 제어 권한을 AI에 넘길 때 생기는 보안 문제를 해결하기 위해, 마이크로소프트는 CUA를 Windows 365 클라우드 PC 및 Azure Virtual Desktop 가상 머신 환경과 통합하는 방안을 검토 중입니다.

안전장치에 대한 한계도 명확히 밝혔습니다. 브라우저 외부 환경에서 CUA의 신뢰성은 아직 개선 중인 단계이며, 되돌릴 수 없는 작업을 실행하기 전에는 반드시 사람의 확인을 받도록 설계되었습니다. 금융 거래 같은 고위험 동작은 기본적으로 제한됩니다.

단 한 번의 호출로 끝내는 Responses API

함께 발표된 Responses API는 개발자를 위한 도구입니다. 기존 Chat Completions API의 간결함과 Assistants API의 고급 도구 기능을 결합했습니다.

개발자는 단 한 번의 API 호출로 CUA의 컴퓨터 조작, 파일 검색, 사용자 정의 함수 호출을 동시에 엮어 실행할 수 있습니다.

각 응답마다 고유한 응답 ID가 부여되므로, 개발자가 복잡한 대화 상태 추적 파이프라인을 직접 만들지 않아도 여러 단계의 상호작용을 하나의 맥락으로 이어갈 수 있습니다.

왜 중요한가

우리는 마이크로소프트가 Anthropic 등이 먼저 선보인 컴퓨터 조작 에이전트 개념을 자사의 가장 큰 무기인 기업용 인프라와 결합한 점을 영리한 수로 평가합니다.

AI 에이전트가 제멋대로 클릭하다 사고를 치는 것을 막기 위해 Windows 365 가상 데스크톱이라는 검증된 격리 공간을 제공하는 것은 기업 고객에게 가장 설득력 있는 배포 방식입니다. API 개발이 불가능한 수많은 노후 사내 시스템을 자동화할 수 있는 길이 열린 셈입니다.

다만 마이크로소프트 스스로 언급했듯 비브라우저 환경에서의 완성도는 아직 완벽하지 않습니다. 당장 핵심 결제나 민감한 데이터 처리를 CUA에 맡기기보다는, 당분간 사람이 감독하는 보조 업무나 사내 반복 업무부터 단계적으로 테스트해보는 것이 합리적입니다.

이제 클라우드 플랫폼 간의 승부는 단순히 더 똑똑한 LLM을 서비스하는 단계를 넘어, 기업의 실제 업무 환경을 안전하게 제어하는 '디지털 노동력 인프라'를 누가 먼저 완성하느냐로 옮겨가고 있습니다.