엔비디아, 멀티에이전트 월드 모델 '감마 월드' 공개: 24FPS 실시간 공유 환경 생성

최근 쏟아져 나온 인터랙티브 세계 모델들은 흥미로웠지만, 사실상 '1인용 콘솔'에 가까웠습니다.

한 명의 조작 신호를 받아 다음 장면을 예측하는 것은 가능했지만, 그 공간에 또 다른 사람이나 로봇이 들어서는 순간 시점 정합성이 깨지고 계산 비용이 감당하기 힘들 정도로 폭증했기 때문입니다.

엔비디아가 이러한 한계를 깬 다중 에이전트 인터랙티브 세계 모델 '감마 월드(Gamma World)'를 공개했습니다.

기존 게임 엔진처럼 미리 3D 지오메트리를 구축해 두지 않고도, 여러 플레이어나 로봇의 동시 행동 신호를 받아 공유 가상 환경과 시점을 24 FPS로 실시간 렌더링합니다.

멀티플레이어 환경에서 계산 폭증을 막아낸 방법

다수의 독립적인 주체가 한 공간에서 상호작용할 때 가장 큰 문제는 주의집중(Attention) 연산입니다. 모든 에이전트가 서로의 시각 토큰을 전부 참조하면 계산 비용이 에이전트 수의 제곱으로 늘어납니다.

감마 월드는 두 가지 영리한 수학적 설계로 이 병목을 풀었습니다. 첫 번째는 '단체 회전 에이전트 인코딩(Simplex Rotary Agent Encoding)'입니다. 3D RoPE를 파라미터 없이 확장해 각 에이전트를 회전 각도 공간의 정단체 꼭짓점으로 표현함으로써, 고정된 순서나 슬롯 없이도 모든 에이전트를 대칭적으로 구분해 냅니다.

두 번째는 '희소 허브 어텐션(Sparse Hub Attention)'입니다. 학습 가능한 허브 토큰이 에이전트 사이의 중계 역할을 맡아, 상호작용 계산 비용을 제곱에서 에이전트 수에 비례하는 선형 수준으로 낮췄습니다.

여기에 Cosmos-Predict2.5-2B 기반 구조 위에서 디퓨전 교사 모델을 KV 캐싱이 가능한 인과적 학생 모델로 증류해 24 FPS 실시간 출력을 구현했습니다. 테스트 결과, 2인 환경을 기준으로 설계된 모델이 추가 훈련 없이도 4인 환경까지 매끄럽게 일반화되었습니다.

왜 중요한가

우리는 감마 월드가 세계 모델을 단순한 시각 데모에서 실질적인 시뮬레이션 인프라로 끌어올린 중요한 이정표라고 봅니다.

현실의 공장이나 게임 환경은 결코 한 명만을 위해 움직이지 않습니다. 두 대 이상의 로봇 팔이 물건을 맞잡아 옮기거나 여러 플레이어가 공간을 공유할 때, 기존 물리 엔진 기반 시뮬레이터는 제작 비용이 너무 컸고 기존 영상 생성 모델은 다중 제어가 불가능했습니다.

단순히 하드웨어 연산력으로 밀어붙이는 대신, 허브 토큰과 회전 인코딩이라는 영리한 아키텍처로 계산 효율을 챙긴 접근은 매우 현명해 보입니다.

앞으로 로봇 공학이나 게임 개발팀은 언리얼이나 유니티에서 일일이 물리 충돌 메쉬를 깎지 않고도, 생성 모델 안에서 복잡한 협동 작업을 직접 시뮬레이션하고 학습시킬 수 있게 될 것입니다.

다만 이번 검증은 4인 규모의 환경에서 이루어졌습니다. 수십 명 이상의 에이전트가 동시에 얽히거나 아주 긴 시간 동안 물리적 일관성을 유지해야 하는 극한 상황에서도 인과 모델이 환각 없이 버텨줄지는 계속 지켜볼 필요가 있습니다.