페이페이 리의 월드 랩스, 사진 한 장으로 탐험 가능한 3D 공간 생성 AI 공개

사진 한 장을 올렸을 뿐인데, 비디오 게임 속 공간처럼 키보드로 걸어 다니며 둘러볼 수 있는 기술이 나왔습니다. AI 분야의 석학 페이페이 리 교수가 설립한 스타트업 월드 랩스(World Labs)가 첫 번째 프로젝트를 공개했습니다.

올해 초 출범한 월드 랩스는 a16z, 인텔 캐피털, AMD 벤처스, 에릭 슈미트 등으로부터 2억 3천만 달러의 투자를 유치하며 단숨에 기업가치 10억 달러를 넘겼습니다.

2D 사진 속으로 걸어 들어가는 경험

사진을 3D 모델로 바꾸는 기술은 이전에도 있었지만, 월드 랩스의 결과물은 사용자가 직접 조작하고 수정할 수 있다는 점에서 차이가 납니다.

웹사이트에 공개된 데모를 이용하면 웹 브라우저에서 마우스와 키보드로 공간을 자유롭게 둘러볼 수 있습니다. 실시간으로 렌더링되며, 피사계 심도(DoF)를 조절해 배경을 흐리게 만드는 카메라 제어도 가능합니다.

월드 랩스의 핵심은 최근 부상하는 '세계 모델(World Models)'에 있습니다. 2D 이미지를 이어 붙이는 기존 생성 AI나, 마인크래프트 환경을 시뮬레이션하지만 금방 지형을 잊어버리던 데카르트의 오아시스(Oasis) 모델과 달리, 공간의 일관성과 물리 법칙을 유지하는 데 집중했습니다.

한번 생성된 공간은 형태를 유지하며, 물체의 색상을 바꾸거나 배경 조명을 동적으로 조절하는 상호작용도 지원합니다.

물론 아직은 초기 프리뷰 단계입니다. 그래픽은 다소 만화 같은 느낌이 남아 있고, 이동 가능한 범위가 좁아 금방 투명한 벽에 부딪힙니다. 물체끼리 부자연스럽게 뭉개지는 렌더링 오류도 종종 발생합니다.

왜 중요한가

우리는 월드 랩스가 2D 픽셀 생성 경쟁에 매몰되지 않고, 처음부터 3D 기하학과 물리 법칙을 다루는 방향을 택한 점이 매우 영리하다고 봅니다.

지금의 비디오 생성 AI는 겉보기엔 그럴듯하지만, 시점을 조금만 비틀어도 배경이 무너지는 2D 평면의 한계를 벗어나지 못했습니다. 실제 게임 엔진이나 영화 제작 파이프라인에 가져다 쓰기에는 데이터로서의 가치가 떨어졌던 셈입니다.

만약 콘셉트 이미지 한 장으로 조명과 카메라를 마음대로 다룰 수 있는 3D 공간을 안정적으로 뽑아낼 수 있다면, 게임 및 영화 산업의 프리프로덕션 비용은 획기적으로 줄어들 수 있습니다. 수억 달러와 수년의 시간이 들던 가상 세계 구축의 진입장벽을 무너뜨리는 셈입니다.

다만 지금 당장 실무에 쓸 수 있는 수준은 아닙니다. 좁은 탐색 반경과 렌더링 결함은 AI가 보이지 않는 공간을 완벽히 추론하는 데 여전히 한계가 있음을 보여줍니다.

월드 랩스는 2025년에 첫 상용 제품을 선보이겠다고 밝혔습니다. 이 기술이 단순한 인터랙티브 데모에 머물지, 3D 창작 환경의 판도를 바꿀 도구가 될지는 2025년 상용화 버전의 완성도에 달려 있습니다.