VR 헤드셋 동작으로 제어하는 실시간 1인칭 인터랙티브 비디오 모델 공개

지금까지의 생성형 비디오는 화면 너머로 감상하거나, 기껏해야 키보드로 시점을 조금 돌려보는 수준에 머물렀습니다.

연구진은 VR 헤드셋으로 추적한 머리와 손동작을 제어 신호로 활용해 1인칭 상호작용 비디오를 실시간 생성하는 비디오 월드 모델 연구를 공개했습니다.

헤드셋을 착용하면 머리를 돌리는 각도와 손가락 관절의 움직임이 기록됩니다. 여기에 텍스트 프롬프트 한 줄만 더하면, 생성된 가상 세계 속에서 자신의 신체 동작이 실시간으로 구현됩니다.

신체 움직임을 비디오 제어 신호로 연결하다

기존 비디오 월드 모델은 대부분 텍스트나 키보드 입력 같은 단순 신호만 받아들여 신체 감각을 반영한 상호작용에 한계가 있었습니다.

이번 연구는 디퓨전 트랜스포머에 3차원 머리 자세와 관절 수준의 손동작을 직접 조건으로 입력하는 제어 방식을 도입했습니다. 이를 통해 손과 가상 물체 간의 정교한 상호작용을 가능하게 만들었습니다.

실제 시연에서는 간단한 프롬프트 입력만으로 다양한 가상 환경에 진입할 수 있었습니다. 깃발 흔들기, 해변에서 횃불 들기, 고양이나 개 쓰다듬기, 해변에서 박수치기, 기사와 결투하기 등의 동작이 1인칭 시점으로 실시간 생성됩니다.

증류 기법으로 달성한 11FPS

무거운 디퓨전 모델을 실시간 시스템으로 전환하기 위해 연구진은 먼저 양방향 비디오 디퓨전 모델을 교사 모델로 훈련했습니다.

이후 이를 인과적 상호작용 시스템으로 증류해 실시간 1인칭 가상 환경을 생성하도록 구축했습니다. 현재 구동 속도는 약 11FPS 수준입니다.

11FPS는 VR 기기 특성상 매끄러운 화면과는 거리가 있고 화질도 초기 단계에 가깝습니다. 하지만 실제 참가자 평가에서는 기존 기준 모델 대비 작업 수행도와 사용자가 체감하는 조작감이 뚜렷하게 높은 것으로 나타났습니다.

왜 중요한가

우리는 이 연구가 단순한 키보드 입력을 넘어 관절 수준의 핸드 트래킹을 비디오 디퓨전 모델에 직접 결합했다는 점에서 매우 영리한 접근이라고 봅니다.

일반 사용자와 개발자 관점에서 지금 당장 실기기에 올려 쓸 수 있는 기술은 아닙니다. VR 환경에서 멀미를 방지하려면 보통 72~90FPS 이상의 프레임과 초저지연이 필수적인 만큼, 11FPS는 아직 순수 연구용 프로토타입에 가깝습니다. 다만 차세대 가상현실과 체화형 AI의 흐름을 읽는 데는 분명한 의미가 있습니다.

XR 산업 전체로 보면 3D 에셋과 물리 렌더링 엔진 중심의 콘텐츠 파이프라인에 새로운 대안을 던지고 있습니다. 거대한 3D 그래픽 자산 없이도 신경망이 직접 시각 환경과 상호작용을 동시에 그려내는 방식이기 때문입니다.

남은 과제는 분명합니다. 장시간 상호작용 시 발생하는 일관성 붕괴를 막고, VR 기준에 부합하는 초저지연을 순수 비디오 생성 모델로 구현할 수 있는지가 상용화의 핵심 열쇠가 될 것입니다.