‘월드 모델’의 세 갈래 길: 페이페이 리는 3D 에셋, 르쿤은 잠재 두뇌, 딥마인드는 시뮬레이터

요즘 인공지능 업계에서 가장 자주 들리는 단어는 단연 '월드 모델(World Model)'입니다. 하지만 페이페이 리, 얀 르쿤, 그리고 딥마인드가 말하는 월드 모델은 사실 완전히 다른 기술입니다.

최근 페이페이 리가 이끄는 월드 랩스는 브라우저에서 탐색 가능한 3D 환경을 생성하는 마블을 선보였습니다. 비슷한 시기 나스닥 등 외신은 메타의 수석 AI 과학자 얀 르쿤이 독립 스타트업을 준비 중이라고 전했고, 딥마인드는 인터랙티브 비디오 모델 지니 3와 가상 공간 에이전트 SIMA 2를 연이어 공개했습니다. 같은 단어 아래 완전히 다른 베팅이 진행되고 있습니다.

하나의 유행어, 완전히 갈라진 세 가지 기술

월드 모델이라는 개념은 1943년 스코틀랜드 심리학자 케네스 크레이크가 뇌가 현실의 소규모 모형을 만들어 결과를 예측한다고 설명한 데서 출발했습니다. 하지만 현대 AI 마케팅에서 이 단어는 일종의 로르샤흐 테스트가 되었습니다.

2억 3천만 달러의 투자를 유치한 월드 랩스의 마블은 3D 그래픽 파이프라인에 가깝습니다. 텍스트 프롬프트나 단일 이미지, 비디오를 넣으면 3D 장면을 생성하고, 브라우저 편집기 치즐로 수정한 뒤 3D 가우시안 스플래팅이나 메쉬 파일로 내보낼 수 있습니다. 전용 렌더러인 스파크도 함께 제공합니다.

하지만 레딧과 해커뉴스 개발자들은 마블을 두고 뛰어난 가우시안 스플래팅 에셋 생성기일 뿐, 로봇의 두뇌는 아니라고 지적했습니다.

반면 얀 르쿤이 2022년 논문에서 제안한 JEPA 기반의 월드 모델은 예쁜 이미지를 렌더링하지 않습니다. 감각 데이터를 압축된 잠재 상태로 변환하고, 에이전트가 행동했을 때 환경이 어떻게 바뀔지 예측해 계획을 세우는 데 집중합니다. 철저히 내부 인지 엔진을 목표로 합니다.

딥마인드는 그 중간에 있습니다. 지니 3는 720p 해상도에서 초당 24프레임의 상호작용 비디오를 실시간으로 생성하며, SIMA 2는 이 가상 세계 안에서 인간과 함께 게임을 플레이하고 학습합니다.

왜 중요한가

3D 콘텐츠 제작자나 인디 게임 개발자에게 월드 랩스의 마블은 지금 당장 써볼 만한 유용한 도구입니다. 복잡한 모델링 없이 브라우저에서 가우시안 스플랫 에셋을 빠르게 뽑아낼 수 있어 작업 시간을 크게 줄여줍니다. 하지만 로봇 공학이나 범용 물리 지능을 기대하는 이들에게는 적합하지 않습니다.

산업 관점에서는 텍스트 중심의 거대언어모델(LLM)이 한계에 다다랐음을 보여줍니다. 르쿤이 실제로 메타를 떠나 스타트업을 세운다면, 언어 모델 중심의 빅테크 경쟁 구도에 균열이 생기고 잠재 표현 기반의 예측 아키텍처 연구가 시장의 본격적인 시험대에 오르게 됩니다.

우리는 3D 가우시안 스플래팅 기술에 월드 모델이라는 거창한 이름을 붙인 월드 랩스의 전략이 마케팅 측면에서는 영리했지만, 개념을 과도하게 소비시키는 위험이 있다고 봅니다. 겉보기에 그럴듯한 3D 공간을 렌더링하는 것과 실제 물리적 인과관계를 이해하는 것은 차원이 다른 문제입니다. 진짜 인공지능 두뇌를 향한 경쟁은 이제 막 정의 싸움을 시작한 것으로 보입니다.