메타 레이밴 스마트 안경에 멀티모달 AI 탑재, 눈앞의 사물 직접 인식

식탁 위에 놓인 티백들을 보며 카페인이 없는 것을 찾아달라고 묻자, 안경테에 달린 스피커에서 캐모마일 차를 마시라는 음성이 흘러나옵니다. 스마트폰을 꺼내 사진을 찍을 필요도 없이, 안경이 내 시야를 직접 보고 답을 내놓는 시대가 열렸습니다.

Meta가 2세대 Ray-Ban 스마트 안경에 시각 멀티모달 AI 기능의 얼리 액세스 베타를 시작했습니다. 당초 2024년에 도입될 예정이었으나 예상보다 일정이 당겨졌으며, 이번 업데이트를 통해 Bing 기반의 실시간 웹 검색 기능도 함께 추가되었습니다.

말로 찍고 귀로 듣는 시각 AI

작동 원리는 간단합니다. 사용자가 음성으로 명령을 내리면 안경이 사진을 한 장 찍고, 생성형 AI가 이를 분석해 음성으로 알려주는 방식입니다.

기능을 쓰려면 정해진 문구를 말해야 합니다. 예를 들어 식재료를 보며 레시피를 묻거나 식물 이름을 알고 싶을 때 "Hey, Meta, look and..."로 말을 시작하는 식입니다.

명령을 내리면 귀에서 찰칵하는 셔터음이 울리고, 몇 초간의 분석을 거친 뒤 AI가 결과를 읽어줍니다. 분석에 쓰인 사진과 AI의 답변 텍스트는 페어링된 스마트폰의 Meta View 앱에 고스란히 저장되어 나중에 다시 찾아보는 메모장처럼 쓸 수 있습니다.

실시간 영상 스트리밍 대신 사진 촬영 방식을 택한 가장 큰 이유는 배터리 때문입니다. Meta의 CTO인 Andrew Bosworth는 배터리 소모를 막기 위해 지금은 음성 호출을 거치지만, 장기적으로는 초저전력 센서가 이벤트를 자동 감지해 AI를 깨우는 방식을 지향한다고 설명했습니다.

아직 피하지 못한 할루시네이션

초기 베타인 만큼 일상에서 완벽하게 쓰기에는 아직 덜 다듬어진 구석이 많습니다.

가장 큰 문제는 생성형 AI 특유의 환각 현상입니다. 과일 바구니를 보여준 테스트에서 오렌지, 바나나, 용과, 사과는 정확히 맞혔지만, 바구니에 전혀 없던 석류를 지어내기도 했습니다.

창가에 놓인 팬더 인형을 보고 재치 있는 캡션을 달아달라고 하자 '누군가 외롭게 스마트폰을 보고 있다'는 엉뚱한 문구를 내놓기도 했습니다.

스페인어 메뉴판을 읽고 매운 음식을 골라내는 작업은 잘 해냈지만, 고기 요리를 묻자 스페인어 원문을 그대로 읽어버리는 등 언어 처리의 기복도 있었습니다. 또한 Meta가 모델 학습을 위해 익명화된 질의 데이터를 수집하고 있어 개인정보 보호에 대한 우려도 여전히 남아 있습니다.

왜 중요한가

우리는 Meta가 하드웨어 전략을 영리하게 짰다고 봅니다. 옷에 달아야 하는 값비싼 전용 기기 대신, 소비자들이 이미 익숙하게 착용하고 매장에서 300달러에 바로 살 수 있는 선글라스 폼팩터를 그대로 활용했기 때문입니다.

일반 사용자가 오직 이 AI 기능만을 보고 지금 당장 안경을 살 가치가 있느냐고 묻는다면 아직은 아닙니다. 매번 정해진 문구를 읊어야 하고, 몇 초간의 딜레이와 잦은 헛소리를 감수해야 하는 만큼 현재로서는 흥미로운 기술 데모에 가깝습니다.

하지만 웨어러블 업계 전체에 주는 의미는 큽니다. 그동안 스마트 안경은 무겁고 배터리를 많이 먹는 디스플레이를 넣느라 상용화에 애를 먹었습니다. Meta는 화면을 과감히 없애고 카메라와 오픈형 스피커, 멀티모달 AI의 조합만으로도 일상에서 눈과 귀가 되어주는 비서가 충분히 성립할 수 있음을 보여주고 있습니다.