動画推論フレームワーク「VBVR」公開：100万本の動画で時空間の思考力を強化

VBVR（Very Big Video Reasoning）は、動画生成モデルに空間や物理の推論能力を学習させるためのオープンソースフレームワークです。単に高精細な映像を作るのではなく、映像モデルに「思考する力」を与え、一貫した物理法則や時空間の因果関係を理解させることを目的としています。

現在の動画生成AIは見た目のリアルさで競い合っていますが、物理的な論理や物体の連続性を破綻させずに保つのは依然として困難です。VBVRはこの課題を解決するために開発されました。

何ができるのか

VBVRを取り入れた動画モデルは、ユーザーの指示に従って視覚的なタスクやパズルを解くことができます。

例えば、最初の1コマ目にある特定の漢字を認識して指示通りに丸で囲んだり、並んだ図形の規則性を見抜いて次の形状を補完したりできます。画面内のエージェントを自律的に操作し、散らばったドットを回収させることも可能です。

3D物体の回転や流体の平衡シミュレーションといった複雑な物理挙動でも強みを発揮します。視覚パズルタスクでのスコアは68.5%に達し、物理ロジックの処理においてSora 2やV3.1を大きく上回ったと報告されています。

100万本の動画と検証可能なベンチマーク

動画推論の研究が進まなかった最大の原因は、大規模な学習データの不足でした。

VBVRデータセットは200種類の推論タスクに分類され、100万本以上の動画クリップを収録しています。これは既存データセットと比べて約3桁大きい規模です。

あわせて公開された評価フレームワーク「VBVR-Bench」は、AIモデルによるあいまいな判定ではなく、ルールベースで人間に整合したスコアリングを採用しています。これにより、推論精度の診断を高い再現性で行えます。

大規模なスケーリング実験では、未学習の新しい推論タスクに対しても能力が汎化する「創発」の兆候が確認されました。

公開状況と入手方法

VBVRの全アセットは、すでにHugging Face上で完全公開されています。

公開対象には、310GBに及ぶ推論学習データセット、VBVR-Benchの評価ツールキット、および対応モデルが含まれています。

独自の動画モデルを学習している開発者や研究者は、Hugging Faceのリポジトリから直接ダウンロードして試すことができます。

なぜ重要か

世界モデルやロボティクス、身体性AIに取り組む開発者にとって、このフレームワークは今すぐ触る価値があります。感覚的なファインチューニングに頼っていた物理シミュレーションを、310GBの客観データと評価器で管理できるようになったからです。

動画生成の競争軸は、画面の綺麗さから「現実世界の物理法則をどこまで破綻なく再現できるか」へとシフトしつつあります。VBVRがこれほど大規模なデータを完全にオープンにしたことで、業界全体の推論能力向上に弾みがつくと見られます。