ABot-World: RTX 5090 한 장으로 구동하는 무한 상호작용 세계

ABot-World는 사용자의 조작 입력을 받아 실시간으로 반응하며 무한히 펼쳐지는 가상 환경을 만들어내는 오픈소스 세계 시뮬레이터입니다. 정해진 영상을 수동적으로 시청하는 것이 아니라, 키보드 조작에 맞춰 AI가 상호작용 가능한 화면을 렌더링합니다.

기존의 세계 생성 모델들은 대개 몇 초나 몇 분 정도만 유지되다 붕괴하기 일쑤였습니다. 반면 ABot-World는 시간제한 없는 연속 생성을 지원하며, 실제로 1시간 이상, 길게는 24시간 동안 끊김 없이 작동하는 시연을 선보였습니다.

주요 기능과 구현 원리

이 시스템은 사용자 행동 명령에 따라 실시간으로 장면의 다음 변화를 예측합니다. 특히 LongForcing이라는 학습 방식을 적용해, 긴 시간 조작하더라도 특정 공간에 갇히지 않고 프롬프트를 바꾸지 않아도 새로운 풍경과 동적 요소를 자연스럽게 계속 상상해 냅니다.

출력 스펙은 720p 해상도에 16 FPS 수준입니다. 조작을 입력한 뒤 화면에 반영되기까지의 지연 시간은 약 1.2초입니다.

하드웨어 요구사항과 실행 방법

가장 놀라운 점은 대규모 서버 팜이 아닌 단일 데스크톱 GPU에서 구동된다는 사실입니다. NVIDIA RTX 5090 그래픽카드 1장으로 돌아가며, 추론 시 VRAM 사용량은 약 19GB입니다.

권장 환경은 Ubuntu 22.04, CUDA 12.8, Python 3.12이며 PyTorch 2.8과 FlashAttention, SageAttention 커널을 활용합니다. 환경 설정의 번거로움을 줄이기 위해 도커 허브와 알리바바 클라우드 레지스트리에 사전 빌드된 Docker 이미지도 제공됩니다.

프로젝트는 상업적 이용이 가능한 Apache 2.0 라이선스로 완전 공개되었습니다. 추론 코드, ABot-World-0-5B-LF 가중치, 로컬 Gradio 데모는 물론이고 정확한 동작 라벨이 달린 500시간 규모의 비디오 학습 데이터셋과 기술 보고서까지 전부 열려 있습니다. GitHub 저장소(amap-cvlab/ABot-World)나 Hugging Face, ModelScope에서 내려받을 수 있으며, 웹 기반 놀이터인 ABot World Studio에서도 체험할 수 있습니다.

왜 중요한가

실시간으로 상호작용하는 생성형 세계 모델은 지금까지 클라우드 인프라 없이는 접근하기 힘든 영역이었습니다. ABot-World는 효율적인 경량화와 최적화를 거치면 일반 소비자용 플래그십 GPU 한 장으로도 무한히 뻗어나가는 가상 공간을 로컬에서 구현할 수 있음을 보여줬습니다.

1.2초의 레이턴시와 16프레임은 빠른 템포의 게임 엔진을 대체하기엔 아직 아쉽지만, 로봇 시뮬레이션이나 오픈월드 탐색형 인터랙션 연구를 진행하는 개발자라면 지금 즉시 로컬에 설치해 테스트해 볼 가치가 충분합니다.