Memories.ai, Memories Upload 공개: 1인칭 작업 영상으로 로봇 훈련 데이터 구축

로봇에게 커피를 내리거나 부품을 수리하는 법을 가르칠 때 가장 큰 걸림돌은 알고리즘이 아니라 현실 세계 훈련 데이터의 절대적인 부족입니다. 엔지니어가 VR 장비를 착용하고 로봇 팔을 원격 조종하는 방식은 비용이 너무 많이 들고 대규모 데이터를 모으기 어렵습니다.

전 메타 연구원 션 션과 벤 저우가 설립한 샌프란시스코 스타트업 Memories.ai는 발상을 전환했습니다. 전 세계 수많은 사람들이 현장에서 매일 수행하는 작업을 1인칭 카메라로 촬영해 로봇의 훈련 교재로 바꾸는 플랫폼, Memories Upload를 공식 출시했습니다.

일반 긱 워커는 웨어러블 카메라로 일상 업무를 촬영해 보상을 받고, 로봇 개발사들은 정밀하게 라벨링된 실제 작업 영상을 구매해 인공지능을 훈련하는 구조입니다.

손목에 자석으로 부착하는 45그램 초경량 카메라

작업자가 하루 종일 촬영을 지속하려면 장비가 거의 느껴지지 않을 만큼 가벼워야 합니다. Memories.ai가 자체 개발한 착용형 카메라인 LUCI Pin은 무게가 45그램 미만이며, 머리와 가슴, 손목 마운트에 자석으로 1초 만에 탈부착됩니다.

특히 손목에 부착하는 앵글이 핵심 역할을 합니다. 머리에 쓴 카메라는 물건을 쥐는 순간 손등에 가려져 접촉 지점이 보이지 않는 경우가 많습니다. 카메라를 손목에 배치하면 손가락이 컵이나 도구에 정확히 어떤 각도로 닿는지 밀착해서 기록할 수 있습니다. 두 대를 연동하면 입체 촬영으로 깊이 정보까지 계산해 냅니다.

이 플랫폼은 베타 첫 달에만 100만 시간 이상의 1인칭 비디오를 수집했으며, 2027년 3월까지 1000만 시간 이상을 모으는 것을 목표로 삼고 있습니다. 현재 5개 대륙, 20개 산업군, 1000개 이상의 다양한 작업 영상이 모였습니다.

손동작을 프레임 단위로 라벨링해 검색하는 데이터

단순히 영상만 쌓아 두면 엔지니어가 수작업으로 검토하기 불가능합니다. Memories.ai는 엔비디아 메트로폴리스 검색 도구와 물리 세계 이해 모델인 코스모스를 기반으로 영상을 정밀 데이터베이스로 바꿨습니다.

시스템은 양손의 움직임을 프레임 단위로 추적해 3D 관절 위치와 자연어 행동 라벨을 자동으로 생성합니다. 덕분에 로봇 개발자는 수백 시간의 영상을 일일이 돌려볼 필요 없이, 예를 들어 '왼손으로 컵을 잡고 오른손으로 손잡이를 돌리는' 특정 순간만 API나 MCP 서버로 검색해 학습 파이프라인에 즉시 투입할 수 있습니다.

지금까지 1600만 달러의 투자를 유치한 Memories.ai는 현재 세계 5대 최첨단 로봇 연구소 중 3곳이 이미 이 데이터를 활용해 모델을 훈련하고 있다고 밝혔습니다.

왜 중요한가

물리 인공지능 분야는 텍스트 모델이 겪었던 것과 똑같은 데이터 갈증을 마주하고 있습니다. 웹페이지의 글만으로는 중력과 마찰력, 손끝의 섬세한 힘 조절을 배울 수 없기 때문입니다.

Memories Upload의 영리한 점은 고가의 로봇 장비 대신 저렴한 하드웨어와 전 세계 긱 워커 네트워크를 활용해 이 병목을 우회했다는 점입니다. 로봇 개발팀 입장에서는 막대한 비용을 들여 자체 수집 시설을 짓지 않고도 API 호출 몇 번으로 다양한 주방과 공장의 실제 작업 데이터를 확보할 수 있게 되었습니다.

물론 인간의 유연한 손과 금속으로 만들어진 로봇 그리퍼 사이의 형태적 차이를 어떻게 극복할 것인가는 여전히 개발자들의 숙제로 남아 있습니다. 인간의 손동작을 그대로 관찰했다고 해서 관절 구조가 전혀 다른 로봇이 곧바로 똑같이 실행할 수 있는 것은 아니기 때문입니다.

그럼에도 피규어의 인덱스 플랫폼이나 피지컬 인텔리전스의 시도처럼, 로봇 공학의 주도권은 이제 대규모 현실 데이터 인프라를 쥔 쪽으로 넘어가고 있습니다. 1인칭 작업 데이터를 표준화된 공급망으로 가장 먼저 엮어낸 Memories.ai의 행보가 업계의 비상한 관심을 받는 이유입니다.