MS '월드-R1' 공개: 강화학습으로 영상 생성의 3D 공간 왜곡 해결

World-R1은 텍스트-비디오 생성 모델에 3D 공간 기하학적 능력을 부여하기 위해 마이크로소프트가 공개한 프레임워크입니다.

최근 비디오 생성 모델은 시각적으로 뛰어난 결과물을 만들지만, 카메라가 회전하거나 이동할 때 물체가 뒤틀리고 원근감이 깨지는 고질적인 기하학적 왜곡을 보입니다. World-R1은 모델을 처음부터 다시 설계하지 않고도 이 공간 왜곡 문제를 깔끔하게 해결합니다.

어떤 문제를 해결하는가

기존에는 비디오 모델에 3D 공간 감각을 심기 위해 모델 구조 자체를 뜯어고치거나 3D 전용 모듈을 억지로 결합하는 방식이 많았습니다.

이런 방식은 방대한 3D 라벨링 데이터를 요구할 뿐 아니라 막대한 컴퓨팅 비용이 들어 모델을 확장하기 어려웠습니다.

World-R1은 다른 접근법을 택했습니다. 기본 비디오 모델 구조를 전혀 건드리지 않고, 대규모 3D 데이터셋 없이도 강화학습을 통해 3D 기하학적 제약 조건을 주입합니다. 기본 비디오 모델로는 오픈소스 Wan2.1이 사용되었습니다.

구현 방식과 핵심 기술

핵심 메커니즘은 3D 공간 제약을 강화학습의 보상 신호로 전환하는 것입니다.

연구팀은 세계 시뮬레이션에 맞춘 텍스트 전용 데이터셋을 구축하고 Flow-GRPO 최적화 기법을 적용했습니다.

비디오 생성 과정에서 사전 학습된 3D 기반 모델과 시각언어모델(VLM)이 판별자 역할을 맡아 구조적 일관성에 대한 피드백을 전달합니다.

또한 3D 기하학적 형태를 유지하려다 영상이 뻣뻣하게 굳는 현상을 막기 위해 주기적 디커플링 학습 전략을 도입했습니다. 이를 통해 단단한 3D 기하 구조와 자연스러운 장면의 유동성을 모두 확보했습니다.

확인 및 테스트 방법

세계 모델이나 3D 비디오 제어에 관심 있는 개발자와 연구자는 arXiv 논문(2604.24764v1)을 통해 구체적인 방법론을 확인할 수 있습니다.

Wan2.1 기반으로 검증된 만큼, 오픈소스 비디오 모델을 물리적 시뮬레이터로 확장하려는 프로젝트에 바로 응용할 수 있는 청사진을 제공합니다.

왜 중요한가

우리는 World-R1이 3D 물리 법칙과 공간 감각을 모델 아키텍처 변경이 아닌 사후 강화학습 정렬 문제로 풀어낸 점이 매우 영리하다고 평가합니다.

게임 엔진, 로보틱스, 세계 시뮬레이션을 다루는 연구자에게 비디오 모델을 재학습하는 비용 부담을 크게 낮춰 줍니다. 언어 모델에서 강화학습으로 추론 능력을 끌어올렸듯, 비디오 생성에서도 강화학습이 물리적 공간 지능을 주입하는 핵심 열쇠가 될 수 있음을 입증했습니다.