MIT, 로봇에 실시간 ‘장기 기억’ 부여하는 DAAAM 개발

방금 전까지 손에 쥐고 있던 공구가 어디로 갔는지 떠올릴 때, 사람은 공간과 시간의 흐름을 엮어서 자연스럽게 기억해 냅니다. 하지만 지금까지의 로봇은 시각 데이터로 지도를 그리는 데는 능숙해도, 10분 전 상황을 되짚어보는 기억력은 사실상 전무했습니다.

MIT 연구진이 로봇에게 사물을 본 시간과 장소를 함께 기억하게 만드는 새로운 AI 시스템 DAAAM(Describe Anything, Anywhere, at Any Moment)을 공개했습니다. 로봇이 이동하며 마주치는 주변 환경을 지속적으로 업데이트되는 4D 공간 그래프로 기록하는 기술입니다.

시간 축을 더한 실시간 4D 시각 지도

기존 로봇 비전 기술은 프레임 단위로 스냅샷을 저장하는 방식이 많았습니다. 이 방식은 데이터 연결성이 떨어져 몇 분 전에 본 물체와 지금 눈앞의 물체가 같은 것인지 파악하기 어려웠습니다.

DAAAM은 깊이 센서가 달린 RGB-D 카메라를 활용해 사물의 텍스트 묘사, 3차원 위치 좌표, 시간 기록을 하나의 데이터 묶음으로 생성합니다. 카메라가 초당 10프레임으로 공간을 스캔하는 동안, 시스템은 실시간으로 객체를 추적합니다.

관건은 무거운 AI 설명 모델의 연산 속도였습니다. 모든 프레임마다 설명 모델을 돌리면 실시간 작동이 불가능하기 때문에, 연구진은 가장 선명한 프레임만 골라 비동기 스레드에서 한꺼번에 처리하는 배치 기법을 적용했습니다. 이 최적화를 통해 기존 표준 방식보다 처리 속도를 약 10배 끌어올렸습니다.

데스크톱용 단일 GPU 환경에서도 초당 약 5개의 새로운 물체 조각에 언어 설명을 붙일 수 있어, 바퀴 달린 지상 이동 로봇이 움직이며 주변을 파악하기에 충분한 성능을 냅니다.

일상 언어로 묻고 시간까지 답하는 로봇

이렇게 누적된 4D 지도에는 별도의 AI 추론 모델이 붙어 있어, 관리자가 일상적인 자연어로 질문을 던질 수 있습니다. 예를 들어 캠퍼스 내 특정 조형물의 위치를 물으면 조형물의 형태적 특징과 함께 마지막으로 목격된 정확한 시각을 보고합니다.

모든 관측 데이터에 타임스탬프가 박혀 있기 때문에, 특정 도구가 언제 마지막으로 쓰였는지, 문이 언제부터 열려 있었는지 같은 시간 기반 질문에 답할 수 있습니다. 벤치마크 테스트 결과 사물 식별과 위치, 시간 추적 능력 모두에서 기존 최고 수준 모델들을 앞섰으며, 자연어 명령을 기반으로 순차적 목적지를 찾아가는 자율 주행 테스트에서도 성공률이 약 28% 높았습니다.

물론 한계도 명확합니다. 사물 설명을 생성하는 기반 모델의 학습 데이터가 약 150만 개 수준으로 비교적 작아, 낯선 물체를 마주하면 상식에 의존해 엉뚱한 판단을 내리곤 합니다. 논문에서는 손잡이가 없는 엘리베이터 문을 보고 손잡이가 달려 있다고 단정 지은 사례를 들었습니다.

또한 빠른 속도로 비행하는 드론이나 VR 기기에 적용하기에는 아직 연산 속도가 부족하며, 장시간 로봇을 가동할 경우 누적되는 기록을 요약하고 정리하는 메모리 압축 기술이 추가로 필요합니다.

왜 중요한가

우리는 DAAAM의 접근 방식이 매우 현실적이고 영리하다고 봅니다. 모든 프레임을 무거운 대형 멀티모달 모델로 감당하려는 무리수 대신, 가벼운 공간 추적과 무거운 언어 묘사를 분리하고 배치 처리로 엮어 데스크톱 하드웨어 수준에서 실시간 구동을 성공시켰기 때문입니다.

로봇 산업 관점에서는 단순한 3차원 지도 제작(SLAM)을 넘어, 시간이 개입된 인과 관계 파악 단계로 로봇의 지능을 한 단계 밀어 올렸습니다. 공장 물류창고나 병원에서 활동하는 서비스 로봇에게 정말 필요한 것은 장애물을 피하는 기술뿐만 아니라, 특정 부품이나 의료 장비가 언제 어디로 이동했는지를 기억하고 추적하는 기능입니다.

다만 연구진이 코드를 오픈소스로 공개하더라도 당장 산업 현장에 무리 없이 적용하기는 어렵습니다. 메모리 압축 전략이 없어 장기 운용 시 데이터가 과부하될 가능성이 높고, 드물게 발생하는 사물 오인식 문제는 정밀 작업 환경에서 치명적일 수 있습니다. 하지만 상용 하드웨어 위에서 로봇의 시간 기억 문제를 풀어낼 수 있음을 입증했다는 점에서 향후 피지컬 AI 아키텍처에 중요한 이정표가 될 것으로 보입니다.