OpenDreamer: 마인크래프트를 조작 가능한 오픈소스 월드 모델로 구현

OpenDreamer는 구글의 비공개 모델 Dreamer 4를 오픈소스로 충실하게 재현한 마인크래프트용 대화형 월드 모델입니다. 전통적인 게임 엔진 없이 오직 비디오 생성 모델만을 사용해, 키보드 입력에 맞춰 실시간으로 반응하는 게임 화면을 생성해 냅니다.

시스템 내부에는 미리 코딩된 물리 엔진이나 게임 규칙이 전혀 없습니다. 전체 동작이 인공지능 에이전트의 행동을 조건으로 삼는 비디오 생성기로 구현되어 있어, 사용자가 WASD 키를 누르면 모델이 그에 맞춰 캐릭터가 맵을 탐색하고 상호작용하는 장면을 즉석에서 그려냅니다.

어떤 방식으로 만들었나

3D 대화형 월드 모델을 처음부터 학습시키는 것은 막대한 컴퓨팅 비용과 긴 디버깅 시간이 소요됩니다. Reactor의 지원을 받은 개발팀은 처음부터 마인크래프트로 직행하는 대신, 단순한 2D 플랫포머 게임인 CoinRun에서 프로토타입을 먼저 제작하는 영리한 전략을 택했습니다.

단순한 2D 환경에서는 단 한 장의 GPU만으로도 전체 학습 파이프라인을 돌리고 디버깅할 수 있습니다. 작은 단위에서 핵심 구조가 정상 작동하는지 빠르게 검증한 뒤에야 3D 마인크래프트 규모로 시스템을 확장했습니다.

아키텍처의 뼈대로는 블록 인과 트랜스포머를 채택했습니다. 단일 프레임 내부의 공간 정보를 처리하는 공간 레이어와, 프레임 간의 연속성을 제어하는 인과 시간 레이어를 나누어 설계했습니다.

또한 학습이 까다로운 기존 VAE 대신 트랜스포머 기반의 마스크드 오토인코더(MAE)를 직접 학습시켜 약 100배의 압축률을 달성했습니다. 적대적 손실이나 복잡한 제약 없이도 빠르고 안정적으로 잠재 공간을 만들어낼 수 있는 구조입니다.

월드 모델 자체는 디퓨전 포싱과 플로우 매칭, 숏컷 모델을 결합해 다음 프레임을 예측합니다. 직전 행동과 상태, 정책을 하나의 타임스텝 블록으로 묶어 월드의 상태 변화와 에이전트의 다음 행동을 병렬로 연산하도록 구성했습니다.

어디서 써보고 어떻게 실행하나

로컬 설정 없이 동작을 확인하고 싶다면 Reactor 런타임을 통해 제공되는 브라우저 데모를 이용하면 됩니다. 브라우저 창에서 키보드를 누르면 월드 모델이 실시간으로 반응하는 모습을 곧바로 체험할 수 있습니다.

직접 코드를 돌려보려는 개발자를 위해 깃허브 저장소에 로컬 실행 방법, 전체 학습 파이프라인, 데이터셋과 함께 어떤 접근법이 성공했고 실패했는지 정리한 상세 보고서가 모두 공개되어 있습니다.

왜 중요한가

월드 모델과 임바디드 AI를 연구하는 개발자들에게 OpenDreamer는 구글이 비공개로 감춰두었던 핵심 퍼즐을 풀어주는 프로젝트입니다. 대기업의 연구 논문만 보고 막막했던 엔지니어들이 실제로 돌아가는 가중치와 실패 사례 분석까지 손에 쥘 수 있게 되었습니다.

특히 단일 GPU로 검증 가능한 2D 환경을 거쳐 3D로 스케일업하는 개발 방식은 예산이 한정된 독립 연구자들에게 매우 훌륭한 엔지니어링 지침이 됩니다. 아직 기존 게임 엔진 수준의 정교함에는 미치지 못하지만, 뉴럴 시뮬레이션 연구를 투명하게 발전시킬 수 있는 든든한 출발점이 마련되었습니다.