LingBot-World: 16 FPS 실시간 상호작용 오픈소스 월드 모델

LingBot-World는 텍스트 프롬프트나 단일 이미지를 바탕으로 키보드 조작이 가능한 가상 환경을 실시간으로 렌더링하는 오픈소스 월드 모델이다.

robbyant 팀이 개발한 이 프로젝트는 오픈소스 비디오 생성 모델인 Wan2.2를 기반으로 구축됐다. 폐쇄형 인터랙티브 모델과의 격차를 줄이고, 게임 프로토타입 제작과 로봇 학습 환경에 활용할 수 있는 오픈 기반을 제공한다.

무엇을 할 수 있나

LingBot-World의 핵심 강점은 낮은 지연 시간과 장기적 공간 일관성이다.

16 FPS의 속도로 실시간 생성되며, 지연 시간은 1초 미만이다. 해상도는 480P와 720P를 지원한다. 사용자는 생성된 공간 안에서 키보드로 이동할 수 있을 뿐 아니라, 텍스트 프롬프트를 추가 입력해 날씨를 바꾸거나 배경을 변경하고 새로운 캐릭터나 이펙트를 실시간으로 합성할 수 있다.

실사 환경부터 애니메이션, 과학 시뮬레이션까지 폭넓은 스타일을 지원하며, 드래곤 비행이나 해저 탐험 같은 장면도 다룰 수 있다.

특히 주목할 부분은 분 단위의 장기 기억 유지 능력이다. 기존 생성 모델은 카메라가 돌아가면 직전 환경이 뭉개지기 일쑤였지만, 이 모델은 분 단위의 시간 축에서도 일관된 맥락을 보존한다. 한 바퀴 돌고 원래 위치로 돌아와도 같은 구조물과 오브젝트가 그대로 유지된다.

실행 방법과 요구 사양

카메라 포즈(Camera Poses) 제어 기반의 Base 모델과 행동 명령(Actions) 제어 기반의 Base 모델, 그리고 속도를 개선한 Fast 모델로 나뉘어 배포됐다.

코드와 모델 가중치는 GitHub, Hugging Face, ModelScope에 공개되어 있다. 기본 환경으로 PyTorch 2.4 이상과 flash-attn이 요구된다.

다만 로컬 실행 난이도는 상당하다. 공식 레퍼런스 스크립트는 DiT 및 T5 FSDP, Ulysses 병렬 처리를 적용한 8 GPU 환경을 기준으로 작성됐다. 일반 단일 GPU PC에서 직접 돌리기는 버겁지만, Reactor가 제공하는 온라인 데모 웹사이트를 통해 별도 설치 없이 브라우저에서 조작해볼 수 있다.

왜 중요한가

Google의 Project Genie처럼 조작 가능한 대화형 세계 모델은 그동안 대부분 비공개 상태였다. LingBot-World는 모델 가중치와 제어 파이프라인을 완전히 공개해 연구자와 개발자에게 실질적인 대안을 열어줬다.

로컬 구동을 위한 연산 비용이 높다는 한계는 있지만, 실시간 인터랙션과 공간 일관성을 갖춘 오픈소스 시뮬레이터가 확보되었다는 점에서 로봇 시뮬레이션과 콘텐츠 제작 도구에 중요한 이정표가 된다.