구글 딥마인드, 음성까지 동시 생성하는 세계 시뮬레이터 'Genie 4' 공개

프롬프트 몇 줄을 입력하자마자 키보드로 직접 돌아다닐 수 있는 3D 가상 공간이 펼쳐집니다. 나뭇잎을 스치는 바람 소리와 파도 소리가 귀에 들리고, 눈앞을 지나가는 캐릭터가 실시간으로 말을 걸어옵니다.

구글 딥마인드가 10월 27일 공개한 차세대 세계 시뮬레이션 모델 'Genie 4'의 모습입니다. 1년여 전 공개된 Genie 3가 상호작용 가능한 화면 생성으로 주목받았다면, 이번 모델은 배경음악부터 환경음, 캐릭터 대화에 이르는 오디오를 화면과 동시에 네이티브로 생성하는 단계까지 나아갔습니다.

키보드로 조작하고 텍스트로 바꾸는 가상 현실

기존의 비디오 기반 모델들이 소리 없는 영상 생성에 머물렀던 것과 달리, Genie 4는 처음부터 시각과 청각을 결합한 멀티모달 환경을 구축했습니다.

이용자는 WASD나 방향키 같은 표준 키보드 입력으로 시점을 바꾸거나 캐릭터를 직접 이동시킬 수 있습니다. 시뮬레이션이 진행되는 도중 텍스트를 입력해 날씨를 바꾸거나 새로운 인물과 소품을 무대에 등장시키는 실시간 연출도 지원합니다.

이러한 정합성을 지탱하는 것은 제미나이 제품군과의 결합입니다. Gemini Omni가 현실적인 물리 엔진과 시각적 외형을 책임지고, Gemini 3.8 Flash 같은 추론 모델이 실시간 디렉터 역할을 맡아 장면의 인과관계를 조율합니다. 공개된 시연에서는 Apptronik의 Apollo 로봇이 인간과 체커 게임을 두는 가상 장면이 등장했는데, Gemini 4 Argon이 보드 판의 다음 수를 논리적으로 계산해 Genie에 렌더링을 지시하는 구조였습니다.

환경의 연속성을 유지할 수 있는 시간은 최대 2분으로, 이전 세대 대비 두 배로 늘어났습니다.

뛰어난 현실감 뒤에 남은 한계들

놀라운 데모 영상에도 불구하고 딥마인드는 Genie 4가 아직 초기 연구 단계임을 분명히 했습니다.

시뮬레이션 시간이 2분을 넘어가거나 복잡한 프롬프트 수정이 누적되면 사물의 지속성(화면 밖으로 나간 물체의 일관성)이 흔들리거나 디테일이 왜곡되는 현상이 나타납니다. 텍스트 렌더링의 가독성이나 정밀한 물리 충돌, 오디오 정확도 역시 여전히 풀어야 할 숙제입니다. 남용을 막기 위해 생성된 모든 영상과 음성에는 SynthID 워터마크가 기본 적용됩니다.

현재는 선별된 테스터에게만 연구 프리뷰 형태로 제공되며, 향후 Project Genie를 통해 구글 AI 울트라 구독자와 Gemini API 파트너에게 순차적으로 개방될 예정입니다.

왜 중요한가

세계 모델 시장의 주도권 싸움은 갈수록 치열해지고 있습니다. 런웨이가 인터랙티브 모델인 GWM Worlds 2를 내놓은 데 이어, AMD의 월드 랩스 인수, 아마존의 데카르트 인수 협상, 리비안의 서드 디멘션 인수 등 빅테크와 자율주행 진영 모두 시뮬레이션 기술 확보에 사활을 걸고 있습니다.

이번 발표에서 주목할 지점은 언어 모델의 논리와 픽셀 렌더링을 결합한 '하이브리드 세계 모델' 전략입니다. 딥마인드는 시각 모델 하나에 모든 물리 법칙을 학습시키는 대신, 제미나이가 논리와 인과관계를 지휘하고 지니가 감각적인 화면을 렌더링하는 분업 구조를 택했습니다. 이는 시뮬레이션의 신뢰도를 높이는 데 훨씬 현실적인 접근으로 보입니다.

영화나 게임 제작자들에게 당장 완성형 엔진을 대체할 수준은 아니지만, 기획 초기 단계의 프리비주얼이나 프로토타입 제작 방식은 완전히 바뀔 수 있습니다. 사진 한 장이나 텍스트 몇 줄로 즉시 걸어 다닐 수 있는 현장을 만들고, 실시간으로 조명과 연출을 테스트해보는 작업이 가능해지기 때문입니다.

물론 가장 비싼 울트라 요금제 중심의 접근성과 여전히 막대한 연산 비용은 상용화의 걸림돌입니다. 하지만 생성형 AI가 단순히 '보는 영상'을 넘어 사람이 직접 '개입하고 행동하는 가상 세계'로 전환되는 흐름만큼은 분명해졌습니다.