구글 딥마인드, 사진 한 장으로 조작 가능한 게임 만드는 '지니' 공개

종이 위에 대충 그린 캐릭터 그림 한 장이 몇 초 만에 직접 조작할 수 있는 슈퍼 마리오 같은 게임으로 바뀐다면 어떨까요.

구글 딥마인드와 브리티시컬럼비아대학교 연구진이 바로 이를 구현한 새로운 파운데이션 세계 모델 지니(Genie)를 공개했습니다. 생성형 상호작용 환경(Generative Interactive Environments)의 약자인 지니는 단 한 장의 이미지나 텍스트 입력만으로 사용자가 직접 조작하고 뛰어다닐 수 있는 2D 횡스크롤 플랫폼 게임 환경을 만들어냅니다.

조작법을 가르치지 않아도 영상만 보고 원리를 터득하다

기존 게임 AI나 시뮬레이션 환경은 이용자가 어떤 버튼을 눌렀는지에 대한 조작 레이블이 필수적이었습니다. 하지만 지니는 완전히 레이블이 없는 비지도 학습 방식을 택했습니다.

연구진은 인터넷에 공개된 2D 플랫폼 게임 플레이 및 스피드런 영상 20만 시간 이상을 수집해 110억 개 매개변수 규모의 모델을 훈련시켰습니다. 정확한 데이터 확보를 위해 언박싱이나 영화 같은 무관한 영상은 키워드 필터링과 수작업 검수를 통해 철저히 걸러냈습니다.

딥마인드의 팀 록태셸(Tim Rocktäschel) 연구원은 복잡한 귀납적 편향을 넣기보다 규모 자체에 집중했다고 밝혔습니다. 지니는 비디오 토크나이저와 프레임 사이의 움직임을 추론하는 잠재 행동 모델, 다음 프레임을 예측하는 동역학 모델을 결합해 작동합니다. AI가 수많은 게임 영상을 지켜보면서 캐릭터가 어떻게 점프하고 이동하는지 스스로 규칙을 찾아낸 셈입니다.

덕분에 실제 손으로 그린 스케치나 사진을 입력해도 즉시 조작 가능한 가상 세계로 탈바꿈합니다. 게다가 지니는 2D에 머무르지 않고 행동 레이블이 없는 로봇 데이터(RT-1) 학습에서도 제어 가능한 시뮬레이터를 생성해내는 범용성을 입증했습니다.

왜 중요한가

우리는 지니의 등장이 생성형 AI의 패러다임을 단순히 보고 듣는 미디어에서 직접 만지고 개입하는 상호작용 환경으로 전환시켰다는 점에서 의미가 크다고 봅니다.

창작자와 독립 개발자에게는 프로토타입 제작 방식을 근본적으로 바꿀 잠재력이 있습니다. 물리 엔진을 코딩하거나 복잡한 툴을 다루지 않아도, 컨셉 아트 한 장으로 게임 플레이 감각을 즉시 테스트해볼 수 있습니다. 비록 지금은 2D 횡스크롤에 국한되어 있고 해상도나 반응 속도의 한계가 있겠지만, 아이디어를 검증하는 진입 장벽을 완전히 허물어뜨렸습니다.

더 본질적인 파급력은 로보틱스와 범용 인공지능(AGI) 분야에 있습니다. 자율형 에이전트를 훈련시키려면 방대한 가상 시뮬레이션 환경이 필요한데, 사람이 이를 일일이 손으로 만드는 것은 막대한 비용이 듭니다. 지니처럼 웹에 널린 영상 데이터만으로 무한한 학습용 시뮬레이터를 만들어낼 수 있다면, AI가 스스로 생성한 가상 세계에서 훈련받는 자기 진화 루프가 완성될 수 있습니다.

물론 3D 복잡한 물리 법칙을 완벽히 모사할 때 발생할 수 있는 시각적 오류와 기하급수적인 연산 비용은 여전히 해결해야 할 과제입니다. 그럼에도 영상 프레임 간의 인과관계를 학습해 제어 가능한 세계를 창조해낸 이번 시도는 차세대 AI의 새로운 이정표가 되기에 충분해 보입니다.