텍스트로 인체 동작 생성하는 'MSFlow' 공개…관절 위치 제어도 지원

MotionSpaceFlow(MSFlow)는 자연어 프롬프트를 입력받아 자연스러운 3D 인체 동작을 생성하는 경량 오픈소스 모델이다. 텍스트로 동작을 만드는 것에 그치지 않고, 추론 시점에 특정 프레임의 관절 위치를 원하는 3D 좌표에 고정할 수 있는 점이 핵심이다.

캐릭터 동작의 역동성을 살리면서도 손발의 위치를 세밀하게 제어할 수 있다.

무엇을 할 수 있나

기본적인 텍스트 생성 성능은 직관적이다. 왼발로 하이킥하기, 엎드려 기어가기, 제자리 벌려뛰기, 측전(카트휠) 등 다양한 동작을 매끄럽게 구현한다.

가장 유용한 기능은 제로샷 공간 제어다. 기존 텍스트 기반 모션 생성 모델은 손이나 발이 정확한 위치에 닿아야 하는 상호작용 장면에서 위치가 어긋나는 한계가 있었다.

MSFlow는 프로젝션 샘플링 기법을 활용해 특정 시점의 관절 위치를 강제로 고정한다. 별도의 제어 전용 파인튜닝 없이도 AI가 해당 제약 조건을 만족하면서 자연스럽게 연결되는 전체 동작을 알아서 완성한다.

관절 위치를 직접 고정할 수 있는 이유

기존 동작 확산 모델들은 대개 오토인코더를 사용해 동작 데이터를 저차원 잠재 공간으로 압축한 뒤 생성 작업을 수행했다. 이 방식은 계산량을 줄여주지만 시간 해상도가 뭉개지고 특정 프레임의 개별 관절을 직접 조작하기 어렵다는 단점이 있었다.

MSFlow는 인코더와 디코더를 완전히 걷어내고, 연속 모션 공간에서 직접 풀 해상도 플로우 매칭을 진행한다.

네트워크 구조에는 RA-MMDiT가 적용됐다. 프레임 간 변화량을 나타내는 증분 특징에는 인과적 어텐션을 써서 시간적 일관성을 유지하고, 절대 XYZ 좌표에는 양방향 어텐션을 적용해 신체 전체의 균형을 맞춘다.

처음부터 실제 3D 좌표를 다루기 때문에 생성 과정에서 특정 관절 좌표를 바로 고정하는 수학적 제어가 가능해졌다.

하드웨어 요구 사항 및 실행 방법

허깅페이스에 공개된 사전 학습 모델의 용량은 약 1.1GB 수준이다. 고가의 서버용 장비 없이 일반 소비자용 GPU에서도 원활하게 구동된다.

공개된 저장소에는 추론 데모, 학습 코드, 평가 스크립트가 모두 포함되어 있다. uv 도구로 의존성을 설치한 뒤 제공되는 쉘 스크립트를 실행하면 단일 GPU에서 킥이나 걷기 등 관절 제어 예제를 바로 생성해 볼 수 있다.

다만 LY Corporation 연구진의 깃허브 저장소에는 이번 공개가 연구 목적의 임시 오픈소스라는 안내가 붙어 있어 추후 비공개로 전환될 가능성이 있다. 코드는 CC0 1.0 라이선스로 배포되었으며, 실행을 위해서는 HumanML3D 등 외부 평가 데이터셋을 직접 내려받아 경로를 맞춰주어야 한다.

왜 중요한가

인디 게임 개발자나 3D 애니메이터에게 MSFlow는 작업 시간을 크게 줄여줄 수 있는 도구다. 텍스트만으로 생성한 동작은 게임 내 오브젝트와 위치가 맞지 않아 버려지는 경우가 많았는데, 핵심 관절을 특정 좌표에 묶어둘 수 있다면 실제 엔진 내 상호작용 동작으로 활용하기 훨씬 수월해진다.

기술적으로도 잠재 공간 압축을 거치지 않고 원본 모션 공간에서 직접 플로우 매칭을 수행하는 방식이 생성 품질과 세부 제어력 모두에서 우수함을 입증했다. 정밀한 물리 제어가 필요한 캐릭터 모션 분야에서 유력한 대안으로 자리 잡을 것으로 보인다.