마이크로소프트, 평면 지도로 3D 세계 만드는 '맵투월드' 공개

지금까지 거대한 3D 오픈 월드를 구축하려면 레벨 디자이너가 엔진 위에서 그리드를 맞추고, 건물의 비율을 조정하며 일일이 에셋을 배치해야 했습니다.

마이크로소프트가 이 복잡한 과정을 평면 색칠 공부처럼 바꿀 수 있는 기술을 들고나왔습니다. 5월 1일 마이크로소프트 연구진은 2D 상공 분할 지도(segment map)와 텍스트 설명만으로 탐험 가능한 3D 세계를 생성하는 AI 프레임워크 '맵투월드(Map2World)'를 공개했습니다.

색칠한 지도에서 펼쳐지는 입체 세계

맵투월드의 작동 방식은 직관적입니다. 위에서 내려다본 지도에 색상 영역을 그리고, 각 영역에 텍스트 프롬프트를 지정하면 AI가 그에 맞춰 3D 공간을 세워 올립니다.

공개된 시연에서는 사계절 마을을 테스트했습니다. 파란색은 봄 마을, 노란색은 여름, 초록색은 가을, 분홍색은 겨울 마을로 지정하자 계절별 특징이 자연스럽게 이어지며 360도로 회전해 둘러볼 수 있는 입체 세계가 완성되었습니다.

시대와 스타일을 넘나드는 조합도 가능합니다. 파란색 영역에는 현대적인 유리 마천루를, 노란색에는 황색 석조 건물이 늘어선 고대 로마 역사 지구를, 초록색에는 솔라펑크 미래 도시를 지정하자 세 가지 완전히 다른 분위기의 도시가 자연스럽게 어우러진 3D 환경이 만들어졌습니다.

기존 도구와 달리 지도 모양을 자유롭게 그릴 수 있을 뿐 아니라, 건물들의 상대적인 크기와 비율도 정밀하게 제어할 수 있습니다.

전체 비율과 세부 묘사를 동시에 잡다

대규모 3D 공간 생성 기술의 가장 큰 난제는 크기 불일치였습니다. 전체 풍경은 그럴싸해도 가까이서 보면 문이 자동차보다 크거나 세부 텍스처가 뭉개지는 일이 잦았고, 기존 방식들은 격자(grid) 레이아웃에 갇혀 있었습니다.

논문에 따르면 맵투월드는 '디테일 인핸서 네트워크(detail enhancer network)'를 도입해 전체적인 공간 구조를 유지하면서도 고해상도 세부 묘사를 덧입히는 데 성공했습니다.

또한 기존 3D 에셋 생성 모델들이 가진 사전 지식을 적극적으로 활용해, 전체 장면 학습 데이터가 부족한 상황에서도 건물과 사물이 어색하지 않은 비율을 유지하도록 했습니다.

이 기술은 게임과 메타버스 콘텐츠 제작 외에도 자율주행 시뮬레이션 환경 구축 등에 폭넓게 쓰일 수 있습니다.

왜 중요한가

레벨 디자이너와 인디 게임 개발자에게는 기획 검증 시간을 획기적으로 줄여줄 도구입니다. 평면 스케치 수준의 색상 지도만 있으면 몇 분 만에 스케일 감각을 확인할 수 있는 3D 프로토타입을 손에 쥘 수 있기 때문입니다.

자율주행과 로봇 시뮬레이션 분야에서도 가치가 큽니다. 도로망과 지형을 2D 맵으로 간편하게 설계하고 다양한 날씨와 도시 환경을 저비용으로 무한 합성해 알고리즘 스트레스 테스트에 투입할 수 있습니다.

우리는 마이크로소프트의 접근 방식이 매우 영리하다고 봅니다. 텍스트 프롬프트 하나로 거대한 세계를 완전히 무작위 생성하게 두는 대신, 거시적인 공간 배치는 인간이 다루기 쉬운 2D 지도로 제어하고 AI는 까다로운 3D 입체화와 스케일 정렬을 맡겼기 때문입니다. 다만 실제 게임 엔진에 즉시 임포트해 쓸 수 있는 최적화된 메시(mesh)를 뽑아내기까지는 추가적인 엔지니어링 검증이 필요해 보입니다.