메타, 멀티 에이전트 월드 모델 'Overseer' 공개…여러 AI 시점 일관되게 동기화

온라인 게임에서 내 화면엔 팀원이 용암에 빠진 것으로 보이는데 정작 팀원 화면에선 평지를 걷고 있다면 게임 자체가 성립하지 않습니다.

그동안 비디오 세계 모델들이 겪었던 한계가 바로 이 지점이었습니다. 기존 모델들은 대부분 1인칭 단일 캐릭터 시점만 생성하도록 설계되어, 여러 AI 에이전트를 한 공간에 넣으면 각자 바라보는 시점의 영상이 서로 어긋나며 환각을 일으키기 일쑤였습니다.

메타는 이 문제를 정면으로 해결한 멀티 에이전트 세계 모델 'Overseer'를 공개했습니다. 여러 AI 에이전트가 하나의 가상 환경을 공유하며 상호작용하고, 각자의 시점에서 바라보는 화면이 빈틈없이 일치하도록 만든 것입니다.

가상 세계에 ‘CCTV’를 달다

에이전트의 1인칭 주관 시점은 시시각각 흔들립니다. 캐릭터가 고개를 돌리거나 발을 떼는 순간 화면 전체의 픽셀이 바뀌기 때문에, 모델은 세상이 변한 것인지 시점만 바뀐 것인지 분간하기 어렵습니다.

메타 연구진은 환경 곳곳에 고정된 보조 카메라 시점을 추가하는 묘수를 냈습니다.

가상 세계 전역에 설치된 감시 카메라(CCTV)를 떠올리면 이해하기 쉽습니다. 카메라의 위치가 공간에 단단히 고정되어 있으므로, 이 시점에 잡히는 변화는 실제 환경 내부의 물리적 변화와 정확히 1대1로 대응합니다.

이 고정 시점들이 공간 전체를 지탱하는 닻 역할을 합니다. Overseer는 이를 통해 각 플레이어의 정확한 위치를 추적하고, 서로 다른 에이전트들이 바라보는 풍경 사이의 시각적 모순을 말끔히 지워냈습니다.

delta-VAE로 계산 비용 다이어트

여러 대의 카메라 앵글을 동시에 생성하려면 막대한 연산 자원이 들기 마련입니다. 메타는 여기서 영리한 압축 기술을 꺼내 들었습니다.

감시 카메라 영상은 대부분 배경이 멈춰 있습니다. 연구팀은 정적 기준 이미지와 비교해 실제로 변화가 일어난 영역만 인코딩하는 'delta-VAE' 구조를 고안했습니다.

이 방식을 통해 보조 카메라 처리에 필요한 토큰 수를 대폭 줄여, 연산 오버헤드를 최소화하면서도 완벽한 공간 일관성을 확보할 수 있었습니다.

실험은 마인크래프트(Minecraft)와 둠(Doom) 같은 게임 환경뿐 아니라 실제 현실의 다중 카메라 영상에서도 성공적으로 검증되었습니다. 현재 모델 가중치는 공개되지 않았으나 관련 데이터셋과 논문은 먼저 풀린 상태입니다.

왜 중요한가

세계 모델 경쟁은 지금까지 단일 시점의 화질과 생성 길이를 늘리는 데 집중되어 있었습니다. 하지만 로봇 공학 시뮬레이션이나 게임처럼 AI가 실제로 부딪혀야 하는 환경은 대부분 여러 주체가 부대끼는 멀티플레이 공간입니다.

우리는 메타의 이번 접근법이 매우 영리하다고 봅니다. 복잡하고 무거운 순수 3D 공간 연산을 억지로 밀어붙이는 대신, 고정된 2D 시점과 변화량 압축을 결합해 가볍고 견고한 기준 좌표계를 세웠기 때문입니다.

멀티 시점 시뮬레이션 환경 구축에 골머리를 앓던 로봇 및 게임 개발자들에게는 반가운 소식입니다. 모델 자체가 공개되지 않은 점은 아쉽지만, 공개된 데이터셋과 아키텍처 아이디어만으로도 충분히 시도해 볼 가치가 있습니다.

장애물이 많거나 시야가 가려지는 초대형 환경에서도 이 고정 시점 방식이 빈틈없이 작동할지는 지켜봐야겠지만, 여러 AI가 모순 없이 같은 세상을 바라볼 수 있게 되었다는 점만으로도 분명한 진전입니다.