동영상 추론 프레임워크 VBVR 오픈소스 공개: 100만 개 클립으로 시공간 추론 학습

VBVR(Very Big Video Reasoning)은 동영상 생성 모델에 시공간 및 물리 추론 능력을 더해주는 오픈소스 프레임워크입니다. 영상을 단순히 고화질로 렌더링하는 데 그치지 않고, 모델이 지시를 이해하고 물리 법칙에 맞춰 사고할 수 있도록 돕습니다.

기존 동영상 생성 모델들은 화질 면에서 눈부시게 발전했지만, 물체의 연속성이나 상호작용 같은 시공간 논리를 다루는 데는 취약했습니다. VBVR은 이 병목을 풀기 위해 제작되었습니다.

무엇을 할 수 있나

VBVR을 적용한 동영상 모델은 텍스트 지시에 따라 정밀한 시각 추론 작업을 수행합니다.

첫 번째 프레임에서 글자를 찾아내 특정 한자 주변에 원을 치거나, 도형의 규칙을 파악해 다음 형태를 완성할 수 있습니다. 화면 속 에이전트를 조작해 장애물을 피하며 원형 도트를 수집하도록 지시하는 것도 가능합니다.

3D 물체 회전이나 유체 평형 시뮬레이션 같은 물리 기반 작업에서도 뛰어난 성능을 보입니다. 시각 퍼즐 평가에서 68.5%의 점수를 기록하며, 공간 물리 로직 처리 면에서 Sora 2나 V3.1을 크게 앞섰습니다.

100만 개 클립과 검증 가능한 평가 체계

이 프로젝트의 핵심은 기존 연구의 한계였던 학습 데이터 부족 문제를 데이터 규모로 돌파했다는 점입니다.

VBVR 데이터셋은 200개의 체계적인 추론 과제와 100만 개 이상의 동영상 클립으로 구성되어 있습니다. 기존에 존재하던 유사 데이터셋보다 약 1,000배(3 orders of magnitude) 큰 규모입니다.

함께 공개된 평가 체계 VBVR-Bench는 다른 LLM에 채점을 맡기는 대신, 규칙 기반의 인간 정렬 채점기를 도입해 재현 가능하고 투명한 성능 진단을 제공합니다.

연구진은 대규모 스케일링 연구를 진행하면서, 모델이 훈련 과정에서 본 적 없는 새로운 추론 과제까지 스스로 해결해내는 초기 창발적 일반화 징후를 확인했다고 밝혔습니다.

공개 범위 및 사용 방법

VBVR 관련 자산은 현재 Hugging Face를 통해 전체 공개되어 있습니다.

310GB 용량의 추론 훈련 데이터셋 전량과 VBVR-Bench 평가 툴킷, 관련 모델이 모두 포함되어 있습니다.

자체 동영상 모델을 연구 중인 개발자나 연구팀이라면 Hugging Face 저장소에서 즉시 데이터를 내려받아 파이프라인에 적용해볼 수 있습니다.

왜 중요한가

세계 모델(World Model)이나 로보틱스, 영상 기반 에이전트를 연구하는 팀이라면 바로 테스트해 볼 가치가 충분합니다. 막연히 프롬프트로 유도하던 물리적 일관성을 310GB의 정제된 데이터와 신뢰할 수 있는 벤치마크로 체계화했기 때문입니다.

우리는 이번 공개가 동영상 AI의 경쟁 구도를 바꾸는 계기가 될 것으로 봅니다. 이제 화질 경쟁은 한계에 다다르고 있으며, 진짜 현실의 인과율을 얼마나 정확히 반영하느냐가 핵심입니다. 대규모 추론 데이터셋이 전면 오픈소스로 풀린 만큼, 업계의 시공간 이해 연구도 빠르게 가속될 것입니다.