Ai2, 텍스트로 3D 궤적 예측하는 MolmoMotion 공개

MolmoMotion은 비영리 AI 연구소 Ai2가 오픈소스로 공개한 3D 움직임 예측 모델입니다. 비디오 첫 프레임과 객체 위의 3D 포인트, 그리고 자연어 명령을 입력하면 해당 포인트들이 향후 수 초 동안 3D 공간에서 어떻게 이동할지 궤적으로 예측해 줍니다.

기존 컴퓨터 비전 모델들이 이미 일어난 동작을 추적하는 데 집중했다면, MolmoMotion은 로봇 제어나 물리 기반 비디오 생성을 위해 앞으로 일어날 움직임을 내다보는 데 초점을 맞췄습니다.

어떻게 동작하는가

MolmoMotion은 연산량이 큰 전체 비디오 렌더링 대신, 월드 좌표계 기반의 객체 표면 3D 포인트 궤적 방식을 선택했습니다. 특정 객체 템플릿에 얽매이지 않고 카메라 시점 변화에도 안정적이며 하류 시스템에 궤적 데이터를 곧바로 전달할 수 있습니다.

기반 모델로는 Molmo 2를 활용합니다. 텍스트 명령과 비주얼 토큰을 결합해 대상 객체를 식별한 뒤 미래 궤적을 산출하며, 두 가지 아키텍처 버전으로 제공됩니다.

자기회귀형인 MolmoMotion-AR은 3D 좌표를 텍스트 토큰처럼 순차적으로 예측합니다. 이전 좌표에 기반해 다음 좌표를 생성하므로 궤적이 명확한 단일 동작에서 매우 정밀한 성능을 냅니다.

플로우 매칭 기반인 MolmoMotion-FM은 연속 3D 공간에서 노이즈를 궤적으로 변환합니다. 하나의 명령에 여러 가능한 움직임이 존재하는 불확실한 상황을 다루는 데 유리합니다.

학습을 위해 Ai2는 일반 웹 비디오에서 노이즈를 걸러내고 3D 궤적을 자동 추출한 MolmoMotion-1M 데이터셋을 구축했습니다. 116만 개 비디오, 736가지 동작 유형, 5600개 이상의 객체를 포함합니다.

성능과 활용처

사람의 검증을 거친 2700개 클립 기반의 PointMotionBench 평가에서, MolmoMotion은 기존 픽셀 기반 비디오 생성 모델과 물리 베이스라인을 뛰어넘는 정확도를 보였습니다.

로봇 작업에서의 효과도 두드러집니다. 오픈 로봇 데이터셋 DROID로 미세조정한 뒤 시뮬레이션 집기 작업을 수행한 결과, 기존 Molmo 2 단독 기준 56.0%였던 성공률이 76.3%로 크게 상승했습니다. 실제 로봇 실험에서도 기준 모델이 1만 2000스텝 걸려 도달한 오차 수준을 약 2000스텝 만에 달성했습니다.

비디오 생성 제어에도 유용합니다. 비디오 모델에 텍스트만 주는 대신 MolmoMotion이 예측한 3D 궤적을 가이드로 제공하면 물리적 왜곡이 적은 영상을 얻을 수 있습니다.

다만 학습 시 객체당 8개의 쿼리 포인트만 사용하므로, 복잡하게 형태가 변하는 비강체 움직임 처리에는 한계가 있습니다.

현재 코드와 모델 가중치, 116만 개 궤적 데이터셋, 벤치마크는 GitHub와 Hugging Face에 모두 공개되어 있습니다.

왜 중요한가

로봇 조작이나 정밀 제어 기반 비디오 생성을 연구하는 개발자라면 지금 바로 테스트해 볼 가치가 충분합니다.

모든 미래 픽셀을 직접 생성하려는 비효율적인 접근 대신, 비전-언어 모델의 이해력과 가벼운 3D 포인트 궤적 예측을 결합한 방식이 매우 영리합니다. 연산 부담을 줄이면서도 하류 작업에 직접 투입 가능한 제어 신호를 만들어냅니다.

8개 포인트라는 제약 때문에 변형이 심한 물체에는 추가 연구가 필요하지만, 머니퓰레이터의 작업 경로 계획이나 비디오 모델의 물리 유도 모듈로서 훌륭한 오픈소스 도구라고 판단됩니다.