구글 딥마인드, 텍스트로 실시간 조작 환경 생성하는 세계 모델 ‘Genie 3’ 공개

텍스트 한 줄을 입력했을 때 단순히 감상하는 동영상이 아니라, 직접 걸어 들어가 실시간으로 조작할 수 있는 3차원 공간이 펼쳐진다면 어떨까요.

Google DeepMind는 8월 5일 차세대 범용 월드 모델인 Genie 3를 공개했습니다. 텍스트 프롬프트를 바탕으로 720p 해상도, 초당 24프레임의 동적 인터랙티브 환경을 실시간 생성하며, 몇 분 동안 일관된 물리 법칙을 유지하며 탐색할 수 있습니다.

영상 시청을 넘어 직접 탐험하는 가상 세계

지속 시간이 10초에서 20초에 불과했던 전작 Genie 2와 비교하면 Genie 3의 도약은 뚜렷합니다. 시각적 기억 능력이 최대 1분 전까지 유지되도록 개선되어, 이동 중에 뒤를 돌아보더라도 이전에 지나쳤던 배경이 왜곡되지 않고 그대로 유지됩니다.

이 모델은 물리 엔진 코드를 직접 입력하거나 3D 렌더링 기술에 의존하지 않습니다. DeepMind 연구 책임자 Shlomi Fruchter에 따르면 Genie 3는 사용자의 조작과 이전 프레임을 참고해 다음 프레임을 하나씩 예측하는 자기회귀 구조로 작동하며, 스케일링을 통해 현실의 물리 직관을 스스로 학습했습니다.

환경 내부에서 텍스트로 날씨를 바꾸거나 장애물을 소환하는 프롬프트 기반 월드 이벤트 기능도 들어갔습니다. DeepMind 연구원 Jakob Bauer는 영상 생성 모델인 Veo 3가 만든 드론 비행 영상 도중에 조종권을 넘겨받아 해당 가상 환경을 직접 탐험하는 시연을 선보이기도 했습니다.

에이전트와 AGI를 향한 가상 훈련장

DeepMind가 이 기술에 공을 들이는 진짜 이유는 게임 개발보다 구체화된 인공지능 에이전트 훈련에 있습니다.

연구팀은 가상 환경 범용 에이전트인 SIMA를 Genie 3가 생성한 물류창고 환경에 투입했습니다. 에이전트에게 압축기나 지게차로 이동하라는 목표를 주자, Genie 3는 에이전트의 이동 명령을 받아 실시간으로 주변 물리 환경을 모사해 내며 목표 달성을 지원했습니다.

물론 한계도 명확합니다. 스키 선수가 눈 덮인 산을 활강하는 데모에서는 스키에 반응해 눈이 튀는 상호작용이 사실적으로 묘사되지 못했습니다. 에이전트가 수행할 수 있는 행동 범위가 좁고, 여러 에이전트 간의 복잡한 상호작용이나 실제 지리적 복제는 불가능하며, 몇 분 수준의 지속 시간은 수천 시간의 강화학습이 필요한 실제 훈련에 턱없이 부족합니다.

왜 중요한가

우리는 Genie 3가 월드 모델을 수동적인 비디오 생성 도구에서 실시간 반응형 시뮬레이터로 전환시켰다는 점에 주목합니다. 정해진 물리 엔진 없이 신경망의 연속 추론만으로 초당 24프레임의 인터랙티브 환경을 구현해 낸 것은 기술적으로 매우 똑똑한 접근입니다.

이는 로봇 공학과 자율주행 산업의 가장 큰 난제인 데이터 부족 문제를 해결할 잠재력을 품고 있습니다. 현실에서 수집하기 위험하고 비용이 많이 드는 코너케이스 상황을 프롬프트만으로 무한히 합성해 낼 수 있다면, 에이전트의 시행착오 학습 속도는 비약적으로 빨라질 수 있습니다.

다만 일반 사용자나 개발자가 당장 도입할 수 있는 단계는 아닙니다. 현재는 소수의 연구자와 창작자에게만 프리뷰로 제공되며, 몇 분 단위의 지속 시간으로는 기존 시뮬레이터를 대체하기 어렵습니다. 지금 당장은 완성형 제품이라기보다, 신경망이 물리적 공간 감각을 실시간 렌더링으로 증명해 낸 중요한 연구적 이정표로 바라보는 것이 적절합니다.