MS, 윈도우 11 전체에 '헤이 코파일럿' 음성 호출 및 비전 기능 정식 배포

AI에게 도움을 받으려고 상황을 일일이 글로 타이핑해 설명하는 일은 생각보다 번거롭습니다.

마이크로소프트가 10월 16일, 모든 윈도우 11 PC를 본격적인 'AI PC'로 탈바꿈시키는 대규모 업데이트를 발표했습니다. 이번 변화의 핵심은 프롬프트 입력을 넘어 음성 호출, 화면 인식, 그리고 사용자를 대신해 로컬 파일을 다루는 에이전트 기능을 운영체제 전반에 녹여낸 점입니다.

말로 부르고, 화면을 보며 코칭받는 환경

가장 눈에 띄는 변화는 호출 명령어인 'Hey Copilot'과 종료 명령어 'Goodbye'의 공식 지원입니다. 설정에서 켜두기만 하면 마우스나 키보드 없이 목소리만으로 대화를 시작할 수 있습니다. 마이크로소프트에 따르면 음성을 사용하는 사용자는 텍스트 입력자보다 코파일럿과의 상호작용 빈도가 두 배에 달합니다.

화면을 함께 보는 'Copilot Vision'도 코파일럿 지원 전 지역에 출시되었습니다. 전체 데스크톱이나 개별 앱 창을 공유하면 코파일럿이 화면을 분석해 음성으로 작업 방법을 조언합니다. 특정 작업을 어떻게 해야 할지 물으면 '하이라이트' 기능이 화면에서 클릭해야 할 위치를 직접 시각적으로 표시해 줍니다.

Word, Excel, PowerPoint 같은 오피스 프로그램에서는 슬라이드를 일일이 넘기지 않아도 전체 문서의 맥락을 한 번에 파악합니다. 공공장소 등 말을 하기 어려운 환경을 위해 텍스트로 비전 기능을 쓰는 모드도 인사이더 프로그램에 곧 도입될 예정입니다.

브라우저를 넘어 로컬 파일까지 건드리는 에이전트

작업을 직접 대행하는 'Copilot Actions'의 활동 반경도 넓어졌습니다. 기존에는 웹 브라우저 기반의 예약이나 주문을 도왔다면, 이제는 코파일럿 랩스(Copilot Labs)를 통해 PC 내부의 로컬 파일까지 다룹니다.

휴가 사진을 조건에 맞게 정리하거나 여러 PDF에서 필요한 데이터만 뽑아내는 작업을 자연어로 요청하면, 에이전트가 데스크톱 앱과 웹을 넘나들며 작업을 수행합니다. 작업 도중 진행 과정을 확인하거나 언제든 사용자가 직접 개입해 제어권을 가져올 수 있습니다.

연동성도 대폭 강화되었습니다. 원드라이브와 아웃룩은 물론 Google 드라이브, 지메일, 캘린더, 연락처를 연결해 통합 검색할 수 있습니다. 파일 탐색기에서 문서를 우클릭해 Manus 같은 서드파티 AI 에이전트로 웹사이트를 바로 제작하는 기능도 추가되었습니다.

왜 중요한가

일반 사용자 입장에서 이번 업데이트의 가장 큰 장점은 프롬프트 작성에 대한 심리적 장벽을 허물었다는 점입니다. 복잡한 명령어를 고민할 필요 없이 화면을 띄워두고 말로 물어보면 되기 때문에, 전문 프로그램의 진입 장벽이 크게 낮아집니다.

다만 지금 당장 모든 작업을 맡기기에는 주의가 필요합니다. 마이크로소프트 스스로도 밝혔듯 로컬 환경에서 작동하는 자율 에이전트는 아직 초기 단계이며 복잡한 인터페이스에서 실수를 범할 가능성이 있습니다. 로컬 저장소와 구글 계정의 접근 권한을 내어주는 만큼 보안과 프라이버시 검증을 지켜볼 필요가 있습니다.

업계 관점에서 보면 마이크로소프트의 전략은 영리합니다. 고가의 신형 하드웨어(Copilot+ PC)에만 기능을 묶어두지 않고 기존의 모든 윈도우 11 환경으로 핵심 경험을 확장했습니다. 애플 인텔리전스가 앱 제어 기능을 조심스럽게 전개하는 사이, 윈도우라는 거대한 데스크톱 점유율을 바탕으로 에이전트 플랫폼 주도권을 확실히 굳히려는 행보로 보입니다.