딥마인드, 지니 2 공개: 단 한 장의 이미지로 플레이 가능한 3D 세계 생성

한 장의 그림이나 사진을 넣자마자 키보드와 마우스로 그 안을 자유롭게 돌아다닐 수 있다면 어떨까요. 영화에서나 보던 이 상상이 기술로 구현되기 시작했습니다.

구글 딥마인드가 단 한 장의 프롬프트 이미지를 기반으로 조작 가능한 3D 가상 환경을 생성하는 대규모 기초 세계 모델 지니 2(Genie 2)를 공개했습니다. 사람이나 AI 에이전트의 키보드 및 마우스 입력을 받아 그 행동에 따른 다음 장면을 실시간으로 시뮬레이션합니다.

2D 평면을 넘어 물리 법칙까지 구현한 3D 가상 세계

올해 초 공개된 지니 1이 2D 플랫폼 게임 환경에 머물렀다면, 지니 2는 정교한 3D 공간으로 크게 도약했습니다. 1인칭 시점부터 탑다운 형태의 아이소메트릭 뷰, 3인칭 주행 시점까지 다양한 구도를 자유자재로 만들어냅니다.

기술적으로는 대규모 비디오 데이터셋으로 학습된 자기회귀 잠재 확산 모델(Autoregressive Latent Diffusion Model) 방식을 취했습니다. 비디오 프레임을 오토인코더를 거쳐 잠재 공간으로 압축한 뒤, 거대언어모델처럼 인과적 마스크를 적용한 트랜스포머 동역학 모델로 이전 프레임과 사용자의 입력을 받아 다음 장면을 순차적으로 생성합니다.

특히 눈에 띄는 부분은 영상 학습을 통해 스스로 습득한 상호작용과 물리 현상입니다. 문을 열거나 풍선을 터뜨리고 폭발 통을 쏘는 상호작용은 물론, 중력과 수류, 연기, 조명 및 반사광까지 자연스럽게 구현합니다.

카메라를 돌려 시야에서 사라졌던 물체를 다시 돌아보았을 때 원래 자리에 정확히 렌더링하는 장기 기억 능력도 갖췄습니다. 환경의 일관성은 최대 1분간 유지되며, 대다수 데모는 10초에서 20초가량 안정적으로 이어집니다.

시작 이미지는 이마젠 3로 만든 생성 이미지뿐만 아니라 실제 풍경 사진이나 콘셉트 아트도 지원합니다. 동일한 시작 화면에서 사용자가 어떤 키를 누르느냐에 따라 서로 다른 수많은 전개 과정을 시뮬레이션할 수 있습니다.

구글 딥마인드는 이미 자연어 명령을 수행하는 게임 에이전트 SIMA를 지니 2 안으로 들여보냈습니다. 지니 2가 생성한 완전히 새로운 3D 방에서 SIMA가 파란 문과 빨간 문을 구분해 열도록 지시하며 에이전트의 일반화 성능을 시험하고 있습니다.

왜 중요한가

지니 2는 단순한 게임 제작 보조 도구를 넘어, 로봇공학과 체화된 AI(Embodied AI) 연구의 고질적인 병목을 뚫어줄 열쇠로 평가할 수 있습니다. 지금까지 에이전트를 훈련시키려면 개발자가 일일이 게임 엔진에서 가상 맵을 제작해야 했기에 데이터의 다양성에 한계가 분명했습니다.

세계 모델이 훈련 시뮬레이터 역할을 대신하게 되면, 텍스트 명령만으로 무한에 가까운 가상 커리큘럼을 생성해 AI에게 물리 감각과 공간 지각을 가르칠 수 있습니다. 현실 세계의 하드웨어를 파손하지 않고 안전하게 지능을 끌어올리는 영리한 우회로를 찾은 셈입니다.

창작자 입장에서도 콘셉트 아트를 올리자마자 공간감을 직접 체험해보는 초고속 프로토타이핑 도구로 매력적입니다.

다만 일관성 유지 시간이 아직 최대 1분 안팎에 머물러 있고 복잡한 게임 규칙을 정밀하게 제어하기는 어렵다는 한계는 분명합니다. 하지만 텍스트와 이미지 중심의 생성형 AI 경쟁이 점차 현실을 모사하는 인터랙티브 시뮬레이션으로 옮겨가고 있음을 딥마인드가 선명하게 보여주었습니다.