影片推理框架 VBVR 開源:含百萬影片片段,攻克時空與物理推理
研究團隊開源大規模影片推理框架 VBVR 及評測基準 VBVR-Bench。該專案包含覆蓋 200 項任務的百萬級影片片段與 310 GB 資料,賦予影片模型時空與物理因果推理能力。最值得關注的是,團隊在大規模擴充套件中觀察到了向未知任務泛化的湧現跡象。

VBVR(Very Big Video Reasoning)是一個專門用來訓練和評測影片模型「空間與物理推理能力」的開源框架。說白了,它不是教模型怎麼把畫面畫得更精細,而是加持在影片生成模型之上,給它們補上思考和理解物理規律的腦子。
目前的影片生成工具大多卷在畫面逼真度上,一碰上連續性、因果關係或者空間互動就容易露出馬腳。VBVR 就是為了解決影片缺乏深層邏輯的問題而設計的。
它能做什麼
加持了 VBVR 後,影片模型能根據人類指令完成一系列複雜的視覺推理任務。
比如在第一幀畫面中識別文字,並按照要求圈出特定的漢字;或者根據前序規律推斷並補全幾何形狀序列;它甚至能像遊戲引擎一樣,指揮畫面中的代理(Agent)在螢幕上自主繞行、收集圓點。
在物理模擬方面,它能處理 3D 物體旋轉和複雜的流體平衡模擬。據測試,VBVR 在視覺謎題上的測試得分達到了 68.5%,在這些空間物理邏輯上,其表現明顯壓過了 Sora 2 和 V3.1。
百萬級資料與可驗證評測
這套框架之所以能跑通,核心在於解決了影片推理領域長期缺少大規模訓練資料的瓶頸。
整個 VBVR 資料集涵蓋了 200 項系統分類的推理任務,包含了超過 100 萬個影片片段,規模比現有的同類資料集大了整整三個數量級。
配合資料集一起推出的還有 VBVR-Bench 評測基準。和常見的用大模型打分不同,它引入了基於規則且符合人類直覺的評分器,讓每一次推理診斷都可解釋、可復現。
更關鍵的是,研究團隊在規模化擴充套件測試中發現,當資料量和引數推上去後,模型開始出現向從未見過的推理任務泛化的湧現跡象。
開放程度與怎麼獲取
目前 VBVR 已經在 Hugging Face 上完全開放,沒有任何保留。
開源內容包括完整的 310 GB 推理訓練資料集、VBVR-Bench 評測工具包以及訓練好的相關模型。
如果你手頭正在訓練或微調自己的影片模型,可以直接前往 Hugging Face 下載對應的資料集和評測指令碼。
為什麼重要
對於從事具身智慧、世界模型和影片生成的開發者來說,VBVR 值得儘早拉下來跑一遍。它把原本只能憑感覺微調的物理規律,變成了有 310 GB 標註資料和標準化打分器的工程問題。
我們認為,這也是影片生成賽道的一個分水嶺。光靠堆算力生成漂亮畫面的紅利快見頂了,接下來拼的是誰能在影片裡真正還原連續的現實物理規律。VBVR 這次把百萬級資料完全開源,很可能會倒逼行業把注意力從「畫質卷」轉向真正的「時空理解」。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org