X-Gen Labs, 생성형 월드 시뮬레이션 공개: '도'로 세상을 굴리고 '경'으로 1인칭 생성

요즘 거론되는 이른바 '월드 모델'은 사실상 정교한 비디오 생성기에 불과한 경우가 많다. 화면이 아무리 사실적이어도 시선을 돌렸다가 다시 돌아보면 방금 있던 오브젝트가 엉뚱하게 바뀌어 있다. 프레임 뒤에서 지속되는 진짜 세계가 없기 때문이다.

X-Gen Labs는 이러한 한계를 넘어서기 위해 설계된 새로운 생성형 월드 시뮬레이션 시스템 DAO(도)와 JING(경)을 공개했다.

백엔드는 엔진이 돌리고, 프론트는 카메라가 찍는다

쉽게 말해 DAO는 백그라운드 게임 엔진이고, JING은 그 세계를 들여다보는 1인칭 카메라다.

DAO는 환경의 공유 상태와 규칙을 연산하고 유지하는 월드 엔진이다. 누군가 행동을 취하면 그에 맞춰 세계의 상태를 업데이트하며, 관찰자가 보고 있지 않은 영역에서도 자율 에이전트와 NPC들이 스스로 판단해 행동을 이어간다. 다른 장소로 갔다가 다시 돌아와도 세계가 그대로 유지되는 이유다.

반면 JING은 상호작용 경험 모델이다. DAO가 넘겨주는 관찰 가능한 상태와 사용자의 조작 이력을 바탕으로, 특정 캐릭터가 1인칭 시점에서 보고 듣고 경험하는 화면을 실시간으로 렌더링한다.

이 구조 덕분에 멀티플레이어 환경에서도 상태 일관성이 유지된다. 실제로 같은 세계에 존재하는 세 캐릭터의 시점을 동시에 관찰해도 모든 환경 변화가 일치한다. VO3나 Genie 3 같은 기존 경쟁 모델과 비교했을 때, 상태 관리 시스템을 갖춘 것은 이 프로젝트가 유일하며 연산 자원만 받쳐준다면 몇 초 만에 끊기지 않고 무제한 생성할 수 있다.

로컬 구동에 67GB 요구, 여전한 디테일 드리프트

현재 이 프로젝트는 연구 프리뷰 단계지만, 팀은 GitHub을 통해 Jing 모델의 코드와 로컬 실행 가이드를 공개했다.

로컬 구동 장벽은 상당히 높다. 비디오 생성 백본으로 MiniMax H3 모델을 풀 파인튜닝해 사용했기 때문에 모델 용량만 약 67GB에 달한다. 일반적인 개인 PC에서는 구동하기 어렵고, 향후 양자화 버전이 나와야 실질적인 테스트가 가능할 것으로 보인다.

한계점도 명확하다. 시점이 너무 빠르게 움직이거나 급격한 동작이 발생하면 조작 정밀도가 떨어지며, 세션을 장시간 실행하면 공간 관계나 세부 묘사, 상호작용 맥락이 왜곡되는 '드리프트(drift)' 현상이 발생한다. 실시간 상호작용을 위한 레이턴시 단축도 여전히 과제로 남아 있다.

왜 중요한가

우리는 X-Gen Labs가 '단순히 다음 프레임만 예측해서는 진짜 세계를 만들 수 없다'는 점을 명확히 짚어냈다는 데 주목한다.

기존 영상 모델은 기억력이 없다. 빛의 반사나 물리적 외형을 그려내는 모델에게 10분 전 NPC가 어디로 걸어갔는지까지 전부 기억하라고 요구하는 것은 구조적인 무리수다. 상태와 규칙을 담당하는 DAO와 감각적 렌더링을 담당하는 JING으로 역할을 나눈 것은 영구적인 가상 세계로 가기 위한 매우 현실적인 공학적 해법이다.

게임 개발자와 메타버스 연구자에게 이는 고정된 스크립트나 사전 제작된 그래픽 없이도, 사용자가 접속을 끊은 동안에도 스스로 진화하는 가상 사회를 만들 수 있다는 가능성을 보여준다.

물론 67GB에 달하는 거대한 크기와 장시간 구동 시 발생하는 드리프트를 고려하면 당장 상용 엔진을 대체할 수준은 아니다. 하지만 AI가 단순히 몇 초짜리 동영상을 '꿈꾸는' 단계를 지나, 눈을 감아도 계속 돌아가는 '지속적인 세계'를 시뮬레이션하기 시작했다는 점에서 중요한 전환점이다.