3D 모션 생성·이해·편집을 하나로 묶은 통합 AI 모델 '뫼비우스' 공개

뫼비우스(Möbius)는 3D 인체 모션의 생성, 이해, 시퀀스 완성, 자연어 편집을 하나의 구조 안에서 모두 처리하는 통합 모션-언어 모델이다. 텍스트 프롬프트를 입력해 3D 캐릭터 애니메이션을 뽑아내는 것은 물론, 반대로 모션 데이터를 넣어 캐릭터가 어떤 동작을 취하고 있는지 텍스트로 설명하게 만들 수도 있다.

불완전한 동작 클립을 채워 넣는 모션 보완 기능도 기본 지원한다. 비어 있는 동작을 자연스럽게 메우거나 텍스트 명령을 추가해 원하는 방식으로 완성할 수 있으며, 기존 애니메이션의 일부를 자연어로 지시해 수정하는 작업도 가능하다.

어떻게 작동하는가

기존의 모션 통합 모델들은 겉으로만 통합 형태를 취하는 경우가 많았다. 동작 이해는 언어 모델이 맡고, 동작 생성은 별도의 잠재 공간 확산 모듈에 외주를 주는 분리 구조였기 때문이다.

뫼비우스는 디퓨전 노이즈 제거 과정 전체를 모션 이해에 쓰이는 멀티모달 표현 공간과 일치시켰다. 노이즈 없는 모션, 노이즈가 섞인 모션, 텍스트가 단일 공유 어텐션에 함께 참여하고, 스트림별 파라미터가 이해와 생성 경로를 분기 처리한다.

가장 큰 차별점은 프레임 단위의 연속적인 원시 모션 데이터를 직접 다룬다는 점이다. 복잡한 이산 토큰화 과정이 필요 없고 사전 학습된 모션 VAE도 완전히 걷어내 모델 파이프라인을 단순화했다.

벤치마크 성능과 공개 상태

연구진은 모델을 0.6B와 1.7B 크기로 구축했으며, 약 1,700시간 분량의 모션 데이터를 활용해 확장성을 입증했다.

대표 벤치마크인 HumanML3D에서 0.6B 모델은 R@1 검색 정확도 0.8209, FID 6.1291을 기록하며 기존 MotionGPT3 등 경쟁 모델을 명확히 앞섰다. 1.7B 모델 역시 대규모 데이터 환경에서 높은 정밀도와 모션 다양성을 보여줬다.

현재 논문은 arXiv에 게재되었으며 프로젝트 웹페이지에서 관련 데모를 확인할 수 있다. 다만 깃허브 안내에 따르면 소스 코드는 내부 심사 단계에 머물러 있어, 공식 저장소 공개는 심사가 완료된 이후 진행될 예정이다.

왜 중요한가

게임 개발자, 3D 애니메이터, 그리고 영상 프리비즈 파이프라인을 구축하려는 창작자라면 반드시 눈여겨볼 만하다. 모션 데이터를 생성한 뒤 미세 수정하려면 리깅 툴에서 수작업을 거쳐야 했던 기존 워크플로를 프롬프트 기반의 대화형 편집으로 전환할 수 있기 때문이다.

모션 VAE를 걷어내고 연속 프레임을 단일 트랜스포머 공간에서 직접 처리하도록 설계한 점은 매우 영리한 판단이다. 다만 당장은 코드가 공개 심사 중이어서 실무 파이프라인에 즉시 투입할 수는 없으므로, 프로젝트 페이지 데모를 살펴보며 향후 배포될 오픈소스 라이선스와 임포트 편의성을 지켜보는 편이 좋다.