MS, 윈도에 화면 보고 작업 안내하는 '코파일럿 비전' 무료 출시

복잡한 그래픽 프로그램을 쓰다 길을 잃었을 때나 부모님께 컴퓨터 설정을 설명해 드릴 때, 화면을 손가락으로 콕 짚어 가며 알려주고 싶었던 적이 누구나 있을 것입니다.

마이크로소프트가 바로 그 역할을 대신해 주는 기능을 윈도에 도입했습니다.

마이크로소프트는 미국 내 윈도 10 및 11 사용자를 대상으로 하이라이트(Highlights) 기능을 포함한 '코파일럿 비전'을 공식 출시했습니다. 가장 반가운 부분은 비용입니다. 기존의 유료 요금제인 코파일럿 프로를 구독하지 않아도 무료로 쓸 수 있습니다. 현재는 실험 단계인 코파일럿 랩(Copilot Labs)의 일부로 운영되며, iOS와 안드로이드에서도 지원됩니다.

안경 아이콘을 눌러 원하는 창만 공유하는 방식

AI가 내 화면을 본다고 하면 과거 논란이 됐던 '리콜(Recall)' 기능을 떠올리며 사생활 침해를 걱정하기 쉽습니다. 하지만 코파일럿 비전의 작동 원리는 완전히 다릅니다.

백그라운드에서 주기적으로 화면을 캡처해 저장하는 리콜과 달리, 이 기능은 사용자가 직접 켤 때만 작동하는 옵트인(opt-in) 방식입니다. 코파일럿 앱 화면에 마련된 안경 모양 아이콘을 누른 뒤, AI에게 보여주고 싶은 특정 브라우저 창이나 앱 화면을 직접 골라 공유하는 식입니다. 마이크로소프트 팀즈에서 화면을 공유하는 절차와 사실상 같습니다.

연결이 활성화되면 AI는 화면을 실시간으로 확인하며 음성 대화로 사용자를 돕습니다. 마이크로소프트 팀이 '사용자의 두 번째 눈'이라고 표현했듯, 웹서핑이나 문서 작업 도중 막히는 부분이 생기면 그때그때 질문을 던지고 즉각적인 답변을 들을 수 있습니다.

화면에 직접 불을 켜 클릭할 곳을 짚어주는 하이라이트

화면을 이해하는 데서 한 걸음 더 나아가 실제 작업 동선을 안내하는 핵심이 바로 하이라이트 기능입니다.

작업 도중 코파일럿에게 "어떻게 하는지 보여줘(show me how)"라고 말하면, AI가 사용 중인 앱 화면 내에서 다음에 클릭해야 할 메뉴나 도구의 위치를 직접 하이라이트로 강조해 표시해 줍니다.

예를 들어 어도비 포토샵에서 특정 기능을 찾지 못해 헤맬 때 단계별로 클릭할 위치를 짚어주거나, 여행 일정표 화면을 보여주며 짐 싸기 목록에 빠진 항목이 없는지 점검받는 것이 가능합니다. 지난 4월 마이크로소프트 50주년 행사에서 진행된 간단한 시연에서도, 화면 속 버튼을 직접 비춰주는 방식 덕분에 소프트웨어 학습 부담이 크게 줄어든다는 평가를 받았습니다.

왜 중요한가

우리는 마이크로소프트가 리콜 사태 이후 데스크톱 AI 상호작용의 방향을 영리하게 틀었다고 봅니다.

무조건 화면을 상시 기록하려 들기보다, 사용자가 필요할 때만 통제권을 쥐고 특정 앱 창을 공유하도록 만든 판단은 보안 우려를 크게 덜어줍니다. 사용자는 번거롭게 에러 메시지를 텍스트로 적거나 화면을 캡처해 프롬프트에 첨부할 필요 없이, 그냥 창을 띄워두고 말로 물어보기만 하면 됩니다.

특히 인터페이스가 복잡해 진입 장벽이 높았던 전문 소프트웨어를 다룰 때, 초보자에게 1대 1로 붙는 과외 선생님 역할을 톡톡히 해낼 수 있습니다.

다만 아직은 미국 지역 한정이며 실험 기능 꼬리표를 달고 있다는 점은 감안해야 합니다. 수많은 서드파티 프로그램의 독자적인 UI 구조를 AI가 얼마나 정확하게 짚어낼 수 있을지, 응답 지연 없이 쾌적한 안내가 유지될지가 향후 글로벌 확장의 핵심 관건이 될 것으로 보입니다.