텐센트, 세계 모델 '월드크래프터' 공개…시점 돌아와도 장면 유지

오픈월드 게임을 할 때 뒤를 돌아봤다고 해서 방금 지나쳐온 건물이 사라지거나 모양이 바뀌면 몰입은 순식간에 깨집니다.

하지만 지금까지의 AI 비디오 생성 모델에게는 이것이 가장 넘기 힘든 벽이었습니다. 카메라 앵글을 돌려 시야에서 벗어나는 순간 이전 장면의 정보가 소실되어, 다시 고개를 돌렸을 때는 창문 위치가 바뀌거나 건물이 완전히 녹아내리듯 변형되곤 했습니다.

텐센트 연구진이 공개한 인터랙티브 비디오 세계 모델 '월드크래프터(WorldCrafter)'는 바로 이 공간 기억 상실 문제를 해결하기 위해 등장했습니다.

시점을 돌렸다 돌아와도 그대로 유지되는 공간

월드크래프터는 텍스트 프롬프트 한 줄이나 단 한 장의 참조 이미지만으로 카메라 조작이 가능한 탐색형 환경을 만들어냅니다. 정적인 배경은 물론 움직이는 피사체가 있는 동적 장면에서도 분 단위 수준의 자유로운 카메라 탐색을 지원합니다.

특히 움직이던 객체가 카메라 밖으로 완전히 벗어났다가 다시 화면 안으로 들어와도 왜곡 없이 동일한 형태를 유지합니다.

연구진은 공간 일관성을 입증하기 위해 생성된 영상으로부터 3D 포인트 클라우드(점군)와 카메라 궤적을 직접 복원했습니다. 그 결과 시점을 반복해서 재방문해도 3차원 기하학적 구조가 어긋나지 않고 탄탄하게 정렬되는 것을 확인했습니다.

145개 장면과 725개 카메라 궤적으로 구성된 벤치마크 테스트에서 월드크래프터는 장기 재방문 일관성과 카메라 제어 정확도 모두 기존 기준 모델들을 앞섰으며, 종합 VBench 점수에서도 최고 점수를 기록했습니다.

암시적 3D 인지 메모리의 비밀

이러한 안정성의 핵심은 '암시적 3D 인지 메모리' 구조에 있습니다.

기존 방식들은 명시적으로 뎁스(깊이)를 추정하거나 기하학적 왜곡 보정을 시도하느라 연산이 지나치게 무겁고 부자연스러운 시각 노이즈가 생기기 쉬웠습니다.

월드크래프터는 복잡한 명시적 3D 재구성 대신 카메라 포즈에 맞춰 작동하는 메모리 인코더와 판독 모듈을 함께 학습시켰습니다. 사용자가 새로운 각도로 시점을 돌리면 목표 시점에 맞춰 과거 장면의 기억 토큰을 골라내어 비디오 생성기에 전달하는 방식입니다.

현재 프로젝트 페이지와 코드가 공개되었으며, 기본 모델과 함께 실시간 스트리밍 상호작용이 가능한 증류 기반 고속 모델도 제공됩니다. 다만 모든 구성 요소를 로컬에 내려받으려면 약 147GB의 저장 공간이 필요합니다.

왜 중요한가

우리는 텐센트가 무리한 전통 그래픽스 파이프라인 대신 신경망 내부의 암시적 메모리를 활용해 비디오 확산 모델에 '공간 감각'을 영리하게 심어주었다고 봅니다.

게임 개발자나 가상 환경 제작자에게 이는 AI가 실시간으로 상호작용 가능한 인터랙티브 샌드박스를 직접 구축하는 데 한 걸음 더 다가섰음을 뜻합니다. 단순히 보는 비디오를 넘어, 뒤를 돌아보아도 무너지지 않는 세계를 직접 컨트롤러로 탐색할 수 있게 되었기 때문입니다.

다만 147GB에 달하는 막대한 용량과 높은 연산 요구치 때문에 일반 창작자가 개인 PC에서 가볍게 구동하기는 아직 어렵습니다.

그럼에도 월드크래프터는 생성형 비디오 세계 모델의 경쟁 기준을 화질 경쟁에서 '재방문 일관성을 갖춘 상호작용성'으로 한 단계 끌어올렸다는 점에서 주목할 만한 성과입니다.