메타 출신이 만든 메모리즈 AI, 엔비디아와 손잡고 로봇 '시각 기억층' 구축

스마트 안경을 쓰거나 청소 로봇이 돌아다니는 모습을 볼 때마다 마주하게 되는 어색한 지점이 있습니다. 장치에 카메라가 달려 있어 세상을 실시간으로 보면서도, 돌아서면 방금 본 장면을 까맣게 잊어버린다는 점입니다.

대화형 AI는 이제 몇 주 전 나눈 텍스트 대화까지 척척 기억합니다. 하지만 스마트 안경에 "아까 차 열쇠를 어디 뒀지?"라고 물으면 아무런 답도 내놓지 못합니다. 지금까지 발전해 온 AI 메모리 기술이 철저하게 텍스트 중심으로 설계되었기 때문입니다.

메타 출신 엔지니어들이 설립한 스타트업 메모리즈 AI(Memories.ai)가 3월 16일 엔비디아의 연례 개발자 콘퍼런스 GTC에서 엔비디아와의 파트너십을 발표했습니다. 이들은 엔비디아의 기술을 발판 삼아 웨어러블과 로봇이 본 것을 기억하고 찾아낼 수 있는 '시각 기억층' 구축에 나섭니다.

레이밴 스마트 안경 개발진이 겪은 갈증

공동 창업자인 숀 션(Shawn Shen)과 벤 저우(Ben Zhou)는 메타에서 레이밴 스마트 안경의 AI 시스템을 개발하던 중 이 아이디어를 떠올렸습니다. 사용자가 1인칭 시점 영상을 촬영할 수 있어도, 나중에 원하는 순간을 검색해 다시 불러오지 못한다면 기기의 실용성이 크게 떨어진다는 사실을 깨달았기 때문입니다.

이러한 시각적 메모리 솔루션을 만드는 곳이 없자 두 사람은 2024년 메타를 떠나 직접 창업에 나섰습니다. 션은 텍스트 중심 기억은 구조가 명확해 색인이 쉽지만, 물리적 환경에서 시각 정보로 상호작용하는 하드웨어에는 현실 세계의 시각적 기억이 필수적이라고 강조합니다.

메모리즈 AI는 지금까지 총 1,600만 달러(약 210억 원)의 투자금을 유치했습니다. 2025년 7월 유치한 800만 달러 규모의 시드 라운드에 이어, 수사 벤처스(Susa Ventures)가 주도하고 시드캠프, 퓨전 펀드, 크레인 벤처 파트너스 등이 참여한 800만 달러 규모의 익스텐션 투자를 완료했습니다.

엔비디아·퀄컴과 함께 짜는 인프라

AI가 본 것을 기억하게 만들려면 대용량 영상 스트림을 가볍게 인덱싱하는 소프트웨어 구조와 이를 학습시킬 실제 데이터가 필요합니다.

이번 협력을 통해 메모리즈 AI는 엔비디아의 추론형 비전 언어 모델 '코스모스-리즌 2(Cosmos-Reason 2)'와 대규모 비디오 검색·요약 아키텍처인 '엔비디아 메트로폴리스(Nvidia Metropolis)'를 도입합니다.

회사는 이미 2025년 7월 첫 대형 시각 기억 모델(LVMM)을 내놓은 바 있으며, 션은 이를 구글이 최근 선보인 멀티모달 검색 모델 '제미나이 임베딩 2'의 경량화 버전에 비유했습니다. 현재는 2세대 모델 개발을 마쳤으며, 올해 하반기부터 기기 온디바이스에서 구동될 수 있도록 퀄컴과 프로세서 지원 파트너십도 체결했습니다.

흥미로운 점은 데이터 수집을 위해 '루시(LUCI)'라는 자체 하드웨어까지 직접 제작했다는 사실입니다. 시판 액션캠은 화질에만 치중해 배터리 소모가 심했기 때문으로, 기기를 직접 판매할 계획은 없다고 션은 선을 그었습니다.

왜 중요한가

시각 정보에 특화된 기억 장치를 마련하는 일은 피지컬 AI와 웨어러블 분야의 가장 치명적인 병목을 정조준합니다.

현재 거대 비전 모델들은 실시간 사물 인식은 잘하지만, 방대한 분량의 1인칭 영상 데이터를 지속적으로 누적하고 탐색하는 작업에는 연산과 전력 한계가 컸습니다. 메모리즈 AI는 거대 파운데이션 모델 개발이나 완제품 하드웨어 판매라는 출혈 경쟁을 피해, 중간에서 색인을 담당하는 인프라 소프트웨어에 집중하는 영리한 노선을 택했습니다.

사용자 관점에서 이 기술이 하드웨어에 안착하면 분실물 찾기나 일상 업무 기록 등 웨어러블 기기의 실질적 쓸모가 단숨에 커집니다. 다만 션 창업자가 인정했듯 웨어러블과 로봇 시장의 폭발적인 대중화는 "지금 당장은 아닐 수 있다"는 점에서 본격적인 수익화까지는 호흡이 필요합니다.

클라우드 검색에는 엔비디아, 기기 내 연산에는 퀄컴을 파트너로 확보한 전략은 상당히 실속 있어 보입니다. 관건은 스마트 안경 같은 초소형 폼팩터의 배터리를 얼마나 갉아먹지 않느냐와 끊임없는 녹화에 따르는 사생활 침해 논란을 어떻게 넘어서느냐입니다. 그럼에도 텍스트 창 너머 현실 세계의 기억판을 먼저 깔기 시작했다는 점에서 주목할 만한 시도입니다.