DrFeiFei가 제시한 AI 차세대 개척지: 언어를 넘어 '공간 지능'으로

현재의 최첨단 AI는 시를 쓰고 정교한 코드를 작성하지만, 사진 속에 놓인 컵과 테이블 모서리 사이의 거리를 가늠하게 하면 동전 던지기 수준의 정확도에 그치곤 합니다.

'AI 대모'로 불리는 스탠퍼드대 페이페이 리 교수가 최근 에세이를 통해 지금의 거대언어모델은 현실 세계에 발을 딛지 못한 '어둠 속의 문장가'에 불과하다고 지적했습니다. 그러면서 AI의 다음 10년을 좌우할 핵심 영역은 언어가 아니라 3차원 물리 세계를 이해하는 '공간 지능'이라고 강조했습니다.

이 철학을 바탕으로 설립된 리 교수의 스타트업 월드 랩스(World Labs)는 이번 주, 프롬프트 입력만으로 다운로드 가능한 3D 가상 세계를 만드는 첫 상용 제품 '마블(Marble)'을 전격 출시했습니다.

어둠 속의 문장가를 넘어 공간 지능으로

리 교수에 따르면 인류의 지능은 언어가 생겨나기 훨씬 전부터 외부 환경을 감각하고 행동하는 순환 고리를 통해 진화해 왔습니다.

아이들은 말을 배우기 전부터 손으로 물건을 만지고 기어 다니며 중력과 깊이, 공간의 개념을 체득합니다. 그림자 각도를 측정해 지구 둘레를 계산했던 고대 과학자나, 금속판을 조립해 보며 DNA 이중나선 구조를 밝혀낸 발견 역시 텍스트가 아닌 공간적 직관이 있었기에 가능했습니다.

반면 현재의 멀티모달 모델들은 공간 추론에서 심각한 한계를 드러냅니다. 리 교수는 최신 멀티모달 모델조차 거리, 방향, 크기 추정에서 무작위 추측보다 나을 게 없는 수준이라고 짚었습니다. 머릿속으로 물체를 회전시키거나 미로의 지름길을 찾는 일, 기초적인 물리 법칙을 예측하는 데 번번이 실패하며, AI 생성 비디오 역시 몇 초만 지나면 물리적 일관성을 잃어버립니다.

이 한계를 넘어서기 위해 필요한 것이 바로 물리적으로 일관된 3차원 공간을 이해하고 생성하는 '세계 모델'입니다.

텍스트 한 줄로 언리얼 엔진용 3D 공간 생성

지난해 가을 2억 3천만 달러의 투자를 유치한 월드 랩스는 이 구상을 곧바로 제품화했습니다.

리 교수와 저스틴 존슨, 크리스토프 라스너, 벤 밀든홀 등이 공동 창업한 월드 랩스는 이번 주 상용 서비스 마블을 공개했습니다. 이용자는 텍스트, 이미지, 비디오 프롬프트를 입력해 직접 탐색하고 다운로드할 수 있는 3D 세계를 생성할 수 있습니다.

요금제는 네 단계로 나뉩니다. 무료 플랜은 월 4회 생성을 지원합니다. 스탠다드 플랜은 월 20달러에 12회 생성과 추가 편집 기능을 제공하며, 프로 플랜은 월 35달러에 25회 생성과 상업적 이용 권한을 포함합니다. 최상위 맥스 플랜은 월 95달러에 75회 생성을 지원합니다.

외신 테스트 결과 폭포가 흐르는 야외 성이나 수풀로 뒤덮인 폐허 공간 등을 생성해 직접 걸어 다닐 수 있었습니다. 다만 몇 걸음 걷다 보면 보이지 않는 3D 경계벽에 부딪히는 등 초기 기술의 한계도 분명했습니다. 유료 등급에서 내려받은 파일은 언리얼 엔진이나 유니티 같은 전문 게임 엔진으로 바로 불러와 후속 작업을 이어갈 수 있습니다.

왜 중요한가

게임 개발자나 영화 VFX 아티스트, 공간 디자이너에게 마블은 초기 콘셉트 기획 속도를 대폭 끌어올릴 실용적인 도구입니다. 며칠씩 걸리던 3D 배경 기초 모델링 작업을 몇 분 만에 끝내고 실제 엔진으로 가져갈 수 있다는 점에서 지금 바로 테스트해 볼 가치가 충분합니다.

산업 전반으로 보면, 텍스트와 2D 이미지 생성이 가격 경쟁과 성능 평준화로 접어든 상황에서 차세대 전선이 '물리 법칙을 이해하는 공간 지능'으로 옮겨가고 있음을 보여줍니다. 구글과 텐센트 등 빅테크들도 세계 모델 개발에 속도를 내고 있습니다.

우리는 월드 랩스의 접근 방식이 영리하다고 봅니다. 복잡한 하드웨어가 얽힌 로봇 분야로 곧장 직행하기보다, 수요가 확실한 3D 콘텐츠 제작 파이프라인을 먼저 공략해 상용 매출과 데이터를 확보하는 전략을 택했기 때문입니다.

그러나 그럴듯한 3D 배경 애셋을 렌더링하는 것과 실제 충돌과 역학을 계산하는 진정한 세계 모델 사이에는 여전히 큰 격차가 존재합니다. 몇 걸음 가지 못하고 투명 벽에 막히는 현재 모습으로 볼 때, 지금의 마블은 뛰어난 3D 공간 생성기일 뿐 리 교수가 지향하는 물리 추론 엔진에 도달하기까지는 갈 길이 멉니다.