알리바바, 조작 가능한 대화형 세계 모델 'HappyOyster 1.0' 공개

지금까지의 AI 영상 생성은 프롬프트를 입력하고 렌더링이 끝나기를 기다렸다가 완성된 몇 초짜리 결과물을 확인하는 일방적인 방식이었습니다. 마음에 들지 않는 부분이 나오면 프롬프트를 다시 고쳐 뽑는 수밖에 없었습니다.

알리바바 클라우드는 이러한 흐름을 깨고 실시간 구축과 상호작용이 가능한 개방형 세계 모델 HappyOyster 1.0을 정식 발표했습니다. 텍스트 한 줄로 탐색하고 조작할 수 있는 디지털 세계를 만들어내는 제품입니다.

HappyOyster는 지난 4월 16일 비공개 테스트를 시작한 이후 두 달간의 담금질을 거쳐 이번에 1.0 버전으로 일반에 공개되었습니다.

영상을 넘어 플레이 가능한 세계로

HappyOyster 1.0은 네이티브 멀티모달 아키텍처를 기반으로 음성과 비디오를 결합해 함께 생성합니다. 물리 세계의 상태 전이 규칙을 심층 학습해 이용자의 조작과 반응 사이의 인과관계를 스스로 추론하며, 인물과 환경의 일관성을 길게 유지할 수 있는 것이 특징입니다.

프롬프트를 넣고 결과물이 나오기를 기다리던 기존 방식과 달리, 영상이 생성되는 도중에도 실시간으로 이용자의 명령을 받아 화면에 즉각 반영합니다.

현재 공식 웹사이트에서는 두 가지 모드를 제공하고 있습니다. 첫 번째는 '실시간 디렉팅' 모드로, 가상 캐릭터와 실시간으로 대화하거나 숏폼 드라마를 보다가 마음에 들지 않는 지점에서 멈춘 뒤 줄거리를 다시 써서 이전 장면부터 다시 재생하도록 만들 수 있습니다.

두 번째는 '세계 탐험' 모드입니다. 키보드의 WASD 키를 사용해 화면 속 캐릭터를 직접 움직이며 점프하고 공격하는 등 게임처럼 플레이할 수 있습니다. 오로라 설원이나 심해를 탐험하는 것은 물론 스케이트보드, 윙슈트 활강, 승마 등 다양한 움직임까지 지원합니다.

알리바바는 7월 17일까지 공식 사이트 매일 로그인 시 체험 포인트를 지급한다고 밝혔습니다.

왜 중요한가

우리는 HappyOyster가 생성형 비디오의 영역을 '단순 시청'에서 '상호작용'으로 전환하는 중요한 이정표를 세웠다고 봅니다.

기존 영상 모델들이 더 높은 해상도와 더 긴 재생 시간에 집중해 왔다면, 알리바바는 즉각적인 반응성과 상태 변화라는 물리 엔진의 영역에 도전했습니다. 지연 시간을 극단적으로 줄이고 물리 법칙을 실시간으로 추론해 낸다면, 전통적인 게임 엔진과 AI 영상 생성 사이의 경계는 빠르게 허물어질 수 있습니다.

창작자나 인디 개발자 입장에서도 분기형 인터랙티브 드라마나 간단한 플레이어블 데모를 제작하는 진입 장벽이 획기적으로 낮아집니다.

다만 장시간 자유롭게 맵을 돌아다닐 때 배경이 일그러지거나 논리적 오류가 누적되지 않고 얼마나 안정적으로 유지될지는 향후 검증이 필요합니다. 그럼에도 AI가 실시간으로 빚어내는 공간을 키보드로 직접 뛰어다닐 수 있게 되었다는 점만으로도 시도해 볼 가치는 충분합니다.