MS 코파일럿 비전, 모바일 출시…스마트폰 카메라로 실시간 사물 인식

스마트폰 카메라로 사진을 찍어 검색하는 기능은 이제 흔합니다. 하지만 카메라 너머의 AI가 실시간 영상을 함께 보며 말로 대화를 나눈다면 이야기가 달라집니다.

지난해 말 웹 버전으로 처음 공개됐던 마이크로소프트의 코파일럿 비전(Copilot Vision)이 이제 모바일 기기에도 적용됩니다.

실시간 영상 분석과 인테리어 조언까지

모바일 버전 코파일럿 비전은 스마트폰 카메라와 연동돼 현실 세계를 대화형으로 탐색할 수 있도록 돕습니다. 기기에 저장된 사진뿐만 아니라 카메라로 비추는 실시간 비디오까지 분석합니다.

쇼핑을 하거나 책을 읽고 자료를 조사할 때, 눈앞의 사물에 대한 배경 설명과 유용한 정보를 즉시 제공받을 수 있습니다.

마이크로소프트가 제시한 대표적인 활용 사례는 화분의 식물 건강 상태를 진단받거나, 방 안을 비추며 인테리어 배치 조언을 얻는 식입니다.

보안과 개인정보 문제에 대해 마이크로소프트는 사용자가 명시적으로 권한을 허용한 경우에만 카메라에 접근한다고 밝혔습니다.

음성 모드 안으로 통합, 현재는 미국 유료 구독자 전용

다만 모든 사용자가 지금 바로 쓸 수 있는 것은 아닙니다.

코파일럿 비전은 코파일럿 앱 내부의 음성 모드(Voice mode)를 통해 실행됩니다.

현재는 미국 내 코파일럿 프로(Copilot Pro) 구독자에게만 우선 제공되며, 추후 지원 대상을 확대할 계획입니다.

코파일럿 프로는 월 20달러의 유료 서비스입니다. 피크 시간대 최신 모델 우선 접근권, 높은 사용량 한도와 함께 이번과 같은 실험적 기능에 대한 조기 접근 권한을 제공합니다.

2023년 2월 빙 챗 출시 이후 2024년 9월 코파일럿 웨이브 2에서 GPT-4o를 적용하기까지, 마이크로소프트는 자사 생태계 전반에서 멀티모달 역량을 꾸준히 확장해 오고 있습니다.

왜 중요한가

우리는 단발성 사진 촬영을 넘어 실시간 비디오 스트림과 음성 대화를 묶었다는 점에서 이번 업데이트의 사용성에 주목합니다.

사진을 찍고 검색 결과를 기다리던 기존 방식에 비해, 화면을 비추며 바로 묻고 답하는 방식은 일상 작업의 피로도를 크게 줄여줍니다. 식물을 돌보거나 인테리어를 고민하는 사용자에게는 매력적인 도구지만, 월 20달러 구독료와 미국 한정이라는 제한을 고려하면 지금 당장 무리해서 결제할 이유는 크지 않아 보입니다.

산업 측면에서는 모바일 OS를 쥐지 못한 마이크로소프트의 한계와 도전이 동시에 드러납니다. 구글이 안드로이드 시스템 자체에 제미나이를 녹여내는 동안, 마이크로소프트는 사용자가 별도 앱을 켜고 카메라 권한을 내주도록 유도해야 하는 불리한 위치에 있습니다.

그럼에도 비전 기능을 텍스트 챗봇이 아닌 음성 모드에 결합한 선택은 영리하다고 판단됩니다. 눈앞의 상황을 타자로 치는 것보다 말로 주고받는 것이 훨씬 자연스럽기 때문입니다. 앞으로 배터리 소모와 발열, 카메라 상시 접근에 따른 사용자 프라이버시 우려를 어떻게 설득하느냐가 대중화의 관건이 될 것입니다.