실제 사람 움직임으로 제어하는 1인칭 세계 시뮬레이터 '앵커 월드' 공개

지금까지의 세계 시뮬레이터들은 게임패드로 화면을 조작하거나 텍스트 프롬프트에 의존해 씬을 상상해 내는 방식이 대부분이었습니다.

하지만 이런 방식으로는 물리 세계에서 사람이 실제로 몸을 어떻게 쓰고 움직이는지 정밀하게 담아내기 어려웠습니다.

이 한계를 정면으로 겨냥한 연구 'Anchor World'가 공개됐습니다. 실제 기록된 3D 인체 모션을 직접적인 입력 장치로 삼아, 공간을 누비고 사물을 다루는 1인칭 시점 영상을 렌더링해 내는 시뮬레이터입니다.

단순 이동을 넘어 싱크대 조작과 칼 쥐기까지

Anchor World의 입력값은 크게 두 가지입니다. 3D 공간 내에서 사람이 움직인 관절 모션 데이터, 그리고 특정 뷰가 어떻게 생겼는지 기준을 잡아주는 '앵커 뷰' 이미지입니다.

앵커 뷰는 방 안의 특정 조리대나 구석 공간의 외형을 정의하는 기준점 역할을 합니다. 여기에 움직임과 동적 변화를 설명하는 텍스트가 결합되면, 모델은 해당 인물의 시점에서 바라본 일관된 비디오를 출력합니다.

눈에 띄는 것은 상호작용의 정밀도입니다. 단순히 방 안을 돌아다니는 수준에 그치지 않고, 싱크대로 다가가 수도를 조작하거나 식탁 위의 칼을 집어 드는 세밀한 손동작까지 1인칭으로 재현해 냅니다.

1인칭 시뮬레이터는 시야각 밖으로 팔다리가 잘려 나가면 공간 기하 구조를 놓치기 십상입니다. Anchor World는 훈련 과정에서 1인칭 센서와 분리된 외부 관찰 시점을 보조 감독 신호로 투입해 이 문제를 풀었습니다.

모델이 환경 내 인체의 전신 좌표를 객관적으로 인지하게 만듦으로써 시공간적 기하 일관성을 확보한 것입니다. 실험 결과에서도 기존 최고 수준의 베이스라인들을 큰 격차로 앞질렀습니다.

왜 중요한가

휴머노이드 로봇 생태계가 마주한 최대 난제는 바로 고품질 1인칭 상호작용 데이터의 기근입니다. 사람이 온종일 헤드셋을 끼고 설거지나 요리 영상을 찍어 나르는 데는 비용적 한계가 뚜렷합니다.

Anchor World의 뛰어난 점은 이미 존재하는 모션 캡처 데이터를 무한한 1인칭 시각 훈련 세트로 손쉽게 치환할 수 있는 길을 열었다는 데 있습니다. 방 사진 한 장과 모션 데이터만 있으면 로봇을 위한 작업 영상 데이터를 저비용으로 합성할 수 있습니다.

로봇 공학과 체화된 AI를 연구하는 팀이라면 반드시 주목해야 할 결과물입니다. 다만 공식 페이지 안내에 따르면 현재 코드는 검토 단계에 머물러 있어 실제 공개까지는 조금 더 기다려야 합니다.

우리가 보기에 남은 숙제는 물리적 실재성입니다. 영상이 시각적으로 아무리 자연스럽더라도 미세한 접촉 역학과 충돌 물리가 완벽히 시뮬레이션되지 않는다면, 이를 보고 학습한 실제 로봇이 현실 하드웨어에서 헛손질하는 부작용이 생길 가능성은 여전히 열려 있습니다.