오디세이, 실시간 음·영상 생성 세계 모델과 4인 멀티플레이 '아고라-1' 공개

지난 3년간의 영상 생성 AI는 사실상 미리 정해진 길이의 클립을 뽑아내는 렌더링 도구에 머물러 있었습니다. 아무리 화질이 뛰어나도 프롬프트 입력 후 생성이 시작되면 사용자가 도중에 개입하거나 장면을 조작할 수 없었습니다.

오디세이는 이러한 한계를 깨는 차세대 세계 모델 2종을 발표했습니다. 실시간으로 음성과 영상을 동기화해 생성하는 '스타차일드-1'과 최대 4명의 플레이어가 AI가 실시간으로 만들어내는 가상 세계 안에서 함께 플레이할 수 있는 '아고라-1'입니다.

음성과 영상을 실시간으로 동시에 그려내는 스타차일드-1

스타차일드-1은 오디세이가 '최초의 실시간 멀티모달 세계 모델'로 정의한 모델입니다. 고정된 영상 재생 시간 없이 사용자의 텍스트, 음성, 조작 입력을 지속적으로 스트리밍받아 최대 24fps로 영상과 음향을 동시에 만들어냅니다.

그동안 많은 연구가 소리를 배제한 채 영상에만 집중해 왔지만, 물리적인 충돌이나 현장의 역학을 제대로 반영하려면 소리가 필수적입니다. 다만 음성과 영상은 시간적 해상도가 크게 달라 길게 생성할수록 싱크가 어긋나는 문제가 있었습니다.

오디세이는 Ovi 모델을 인과 증류해 실시간 자기회귀 구조로 변환하고, 비동기 KV 캐시 아키텍처를 도입해 음성과 영상이 각자의 클럭으로 연산되면서도 싱크가 완벽히 맞물리도록 설계했습니다.

4인이 동시에 접속하는 골든아이, 픽셀마다 실시간 생성

함께 공개된 아고라-1은 세계 모델을 멀티플레이어 환경으로 끌어올렸습니다. 클래식 슈팅 게임인 《골든아이》 시뮬레이션을 통해 시연되었으며, 최대 4명의 플레이어가 접속한 상태에서 각 플레이어가 보는 모든 픽셀이 실시간으로 생성됩니다.

아고라-1의 핵심은 현대 게임 엔진의 구조를 딥러닝으로 구현해 시뮬레이션과 렌더링을 완전히 분리했다는 점입니다.

하나의 모델이 플레이어들의 조작에 따라 위치와 체력 등 공유된 세계 상태를 연산하고, 또 다른 모델이 각 플레이어의 시점에 맞는 화면을 독립적으로 렌더링합니다. 물리 엔진과 그래픽 파이프라인을 사람이 손으로 코딩하는 대신 데이터로부터 통째로 학습시킨 셈입니다.

왜 중요한가

우리는 오디세이의 이번 발표가 생성 AI의 판도를 '단순 영상 시청'에서 '실시간 상호작용'으로 완전히 바꿨다고 봅니다.

게임 개발자와 크리에이터에게 아고라-1은 완전히 새로운 가능성을 보여줍니다. 방대한 3D 그래픽 에셋이나 복잡한 물리 엔진 없이도, 신경망 모델 하나가 공유된 규칙 안에서 상호작용 가능한 게임을 실시간으로 띄워줄 수 있기 때문입니다. 현재 agora.odyssey.ml에서 직접 데모를 플레이해볼 수 있으며, 아직 해상도와 지연 시간에 한계가 있지만 개념 증명을 넘어 손으로 만질 수 있는 단계까지 올라왔습니다.

로보틱스와 에이전트 훈련 관점에서도 가치가 큽니다. 물리적인 소리와 공간 상태가 실시간으로 연동되는 가상 환경은 로봇이 현실 세계로 나오기 전 수만 번의 상호작용을 안전하고 빠르게 학습할 수 있는 최적의 모의 훈련장이 됩니다.

장시간 실행 시 장면의 디테일이 서서히 변하는 드리프트 현상과 막대한 연산 비용은 여전히 넘어야 할 산입니다. 하지만 세계 모델이 정적인 동영상 렌더러를 넘어 진짜 게임 엔진처럼 작동하기 시작했다는 사실만으로도 주목할 가치는 충분합니다.