오픈소스 인터랙티브 세계 모델 'Evoke' 공개: 이미지와 조이스틱으로 실시간 가상 세계 생성

Evoke는 정지 이미지 한 장을 실시간 조작이 가능한 인터랙티브 가상 세계로 바꿔 주는 오픈소스 AI 비디오 모델이다. 초기 이미지를 넣고 조이스틱을 조작하면, 게임을 하듯 스노모빌을 운전하거나 카약을 타고 다이빙을 즐길 수 있는 비디오가 즉각적으로 생성된다.

무엇을 할 수 있는가

기본 워크플로는 간단하다. 단일 이미지와 컨트롤러 입력을 받아 조작에 즉시 반응하는 인터랙티브 환경을 렌더링한다.

조작 도중 텍스트 프롬프트를 입력해 환경을 실시간으로 바꾸는 것도 가능하다. 주행 중에 "풍선을 띄워라"라거나 "오로라를 추가하라"고 지시하거나 화산 폭발 같은 이벤트를 발생시켜도, 세션이 끊기지 않고 자연스럽게 장면에 반영된다.

다양한 아트 스타일과 복잡한 물리 환경을 이해하기 때문에 로봇 훈련용 합성 데이터 생성에 매우 유용하다. 병원이나 요양원 내 이동, 극한 환경 탐사, 수상 구조 등 현실에서 대량 수집하기 어려운 시뮬레이션 비디오를 손쉽게 만들어낼 수 있다.

구동 방식과 하드웨어 요구 사양

실시간에 가까운 속도를 내는 비결은 3단계(3-step) 디퓨전 추론과 CFG(Classifier-Free Guidance) 배제에 있다. 스텝당 한 번의 순전파만 수행하여 병목을 줄였다.

또한 기존 비디오 모델과 달리 외부 포인트 클라우드 기반 상태 저장소(world state bank)를 구축했다. 현재 카메라 뷰에 필요한 지오메트리 정보만 그때그때 불러오므로, 몇 시간 동안 조작을 이어가도 메모리가 폭증하지 않고 일정한 컨텍스트 크기를 유지한다.

세계 모델 벤치마크인 WBench에서 최고 점수(SOTA)를 달성했으며, 단일 엔비디아 H200 GPU 환경에서 384×640 해상도의 1.5초 비디오를 2.11초마다 생성한다. H200 5대를 활용하면 생성 시간이 1.34초까지 단축된다.

모델 파라미터는 140억 개(14B)이며 최종 가중치 용량은 약 57GB다. 코드와 단계별 학습 가중치 전체가 깃허브(AlayaLab/Evoke)에 아파치 2.0 라이선스로 공개됐다. 구동을 위해서는 파이썬 3.10, CUDA 12.4, DeepSpeed, Flash-Attention 환경이 필요하다.

왜 중요한가

Genie 3처럼 폐쇄적으로 시연되던 차세대 세계 모델 기술을 학습 가중치와 상태 보존 메커니즘까지 포함해 오픈소스로 완전히 풀어놓았다는 데 의미가 있다.

57GB에 달하는 모델 크기 탓에 일반 소비자용 그래픽카드로는 구동이 불가능하지만, 고성능 엔터프라이즈 GPU를 갖춘 로보틱스 연구팀이나 피지컬 AI 개발자라면 당장 서버에 올려 테스트해 볼 가치가 충분하다.