메타, 텍스트 입력으로 걸어 다닐 수 있는 3D 세계 만드는 WorldGen 공개

지금까지의 생성형 AI로 만든 3D 공간은 겉보기엔 그럴듯해도 캐릭터를 몇 걸음만 움직이면 벽이 뭉개지고 바닥이 깨지는 한계가 뚜렷했습니다.

Meta가 텍스트 명령어 한 줄로 캐릭터가 자유롭게 돌아다닐 수 있는 대화형 3D 월드를 통째로 만드는 연구인 WorldGen을 공개했습니다.

‘카툰풍 중세 마을’이나 ‘화성의 SF 기지’ 같은 프롬프트를 넣으면, 시각적 스타일과 물리적 동선이 일관되게 연결된 3D 공간을 단 몇 분 만에 생성합니다.

5미터만 벗어나면 무너지던 배경의 한계 돌파

기존 3D 장면 생성 방식은 주로 단일 시점에서 바깥으로 뻗어나가는 방식을 썼습니다. 이 때문에 관찰 시점에서 3~5미터만 벗어나도 기하학적 형태와 텍스처 품질이 급격히 저하되곤 했습니다.

WorldGen은 50x50미터 규모의 공간을 전체적인 텍스처와 형태 무결성을 유지하며 생성합니다. 중세 마을 한가운데 현대식 가구가 갑자기 튀어나오는 식의 스타일 붕괴도 방지합니다.

작동 방식은 기획, 재구성, 분해, 정제 등 4단계 파이프라인으로 구성됩니다.

먼저 절차적 추론으로 공간 블록아웃과 캐릭터 이동용 내비메시(Navmesh)를 추출하고 기준 이미지를 만듭니다.

이후 이미지 기반 3D 복원 모델로 초기 씬을 구성한 뒤, 고속화된 AutoPartGen 기술을 통해 공간 속 개별 객체들을 분해합니다.

마지막으로 전용 개선 모델을 거쳐 메시와 텍스처를 정밀하게 다듬습니다. 생성된 데이터는 별도 변환 없이 유니티(Unity)와 언리얼(Unreal) 엔진에서 곧바로 호환됩니다.

왜 중요한가

게임 레벨 디자인과 3D 가상공간 구축은 엄청난 시간과 비용이 드는 전문 영역입니다. 코딩이나 복잡한 툴 없이 텍스트만으로 탐험 가능한 공간을 얻을 수 있다면 1인 개발자나 소규모 팀의 제작 속도는 비교할 수 없을 만큼 빨라집니다.

현재 WorldGen은 연구 단계로, 일반 개발자에게 공개된 상태는 아닙니다. 당장 상용 프로젝트에 도입할 수는 없다는 점을 감안해야 합니다.

우리가 보기에 Meta의 접근 방식이 영리한 이유는 단순한 시각적 3D 복원에 그치지 않고, 게임 엔진의 표준 규격인 내비메시와 오브젝트 단위 분해를 생성 과정에 직접 결합했다는 점입니다. 즉, 캐릭터가 끼이지 않고 돌아다닐 수 있는 실용성을 챙겼습니다.

다만 50x50미터 크기는 게임 맵 전체로 보기엔 여전히 작은 마당 수준입니다. 실제 게임 제작 현장에 쓰이려면 생성 지연 시간을 대폭 줄이고 공간 확장성을 더 확보해야 할 것으로 보입니다.