MS, AI가 머릿속으로 3D 공간 탐색하는 프레임워크 '마인드저니' 공개

거실 사진 한 장을 보여주고 “오른쪽 소파에 앉아 식탁 의자를 바라본다면 부엌은 당신의 오른쪽일까요, 왼쪽일까요?”라고 물으면 사람은 머릿속으로 그 자리에 가 앉아보는 상상을 하며 쉽게 답을 찾습니다.

하지만 최첨단 비전언어모델(VLM)은 이 질문 앞에서 멈칫하기 일쑤입니다. 2D 사진 속 물체는 기가 막히게 찾아내지만, 시점을 이동했을 때 펼쳐질 3D 공간을 머릿속으로 시뮬레이션하지 못하기 때문입니다.

마이크로소프트 연구진이 공개한 연구 프레임워크 ‘마인드저니(MindJourney)’는 바로 이 문제를 해결하기 위해 AI에게 가상 공간을 마음껏 둘러볼 수 있는 상상력을 부여했습니다.

뇌 속에서 가상 카메라를 돌리는 방식

마인드저니는 카메라를 들고 앞으로 가거나 좌우로 회전하는 1인칭 이동 영상으로 학습된 비디오 생성 기반의 ‘월드 모델’을 활용합니다.

질문이 주어지면 월드 모델은 현재 위치에서 이동했을 때 보일 법한 실사 수준의 시점 이미지를 여러 장 생성합니다. 이때 VLM은 필터 역할을 맡아 질문 해결에 가장 도움이 될 만한 시점만을 골라냅니다.

수많은 경로를 무작정 탐색하는 낭비를 줄이기 위해 마인드저니는 ‘공간 빔 서치’ 알고리즘을 사용합니다. 정해진 단계 안에서 탐색의 너비와 깊이를 조절하며 가장 유력한 시점만을 남기고 가지치기하는 구조입니다.

추가 학습 없이도 공간 추론 정확도 8% 상승

가장 돋보이는 부분은 VLM이나 월드 모델을 처음부터 다시 학습시킬 필요가 전혀 없다는 점입니다. 이미 학습된 모델들을 추론 루프 안에서 결합하기만 해도 2D 이미지 너머의 공간을 파악해냅니다.

공간 적성 훈련(SAT) 벤치마크 테스트에서 마인드저니를 적용한 VLM은 기존 베이스라인 대비 정확도가 8% 향상되었습니다.

마이크로소프트는 향후 단순히 시점 변화만 예측하는 수준을 넘어, 물리적 환경이 시간에 따라 어떻게 변하는지까지 예측하는 동적 월드 모델로 프레임워크를 확장할 계획입니다.

왜 중요한가

우리는 이 연구가 비디오 생성 기술을 단순한 콘텐츠 제작용이 아니라, AI의 ‘시각적 사고 사슬’ 도구로 전환했다는 점에서 매우 영리하다고 평가합니다.

특히 로봇 공학이나 스마트홈 분야에 주는 시사점이 큽니다. 로봇이 현실에서 직접 몸을 부딪쳐가며 공간을 파악할 필요 없이, 내부 잠재 공간에서 먼저 시뮬레이션을 돌려봄으로써 물리적 충돌 위험과 에너지 소모, 기계적 마모를 크게 줄일 수 있기 때문입니다.

다만 추론 과정에서 발생하는 연산 비용과 지연 시간은 명확한 한계로 보입니다. 빔 서치로 경로를 줄인다 해도 매 질문마다 복수의 고화질 이미지를 생성하고 검증해야 하므로, 실시간 반응이 필수적인 자율주행이나 휴머노이드 로봇에 당장 얹어 쓰기에는 반응 속도가 걸림돌이 될 수 있습니다.