跳到正文
IFAI

AI科研

视频推理框架 VBVR 开源:含百万视频片段,攻克时空与物理推理

首次发布 传播指数 36

研究团队开源大规模视频推理框架 VBVR 及评测基准 VBVR-Bench。该项目包含覆盖 200 项任务的百万级视频片段与 310 GB 数据,赋予视频模型时空与物理因果推理能力。最值得关注的是,团队在大规模扩展中观察到了向未知任务泛化的涌现迹象。

视频推理框架 VBVR 开源:含百万视频片段,攻克时空与物理推理
图:arxiv.org

VBVR(Very Big Video Reasoning)是一个专门用来训练和评测视频模型「空间与物理推理能力」的开源框架。说白了,它不是教模型怎么把画面画得更精细,而是加持在视频生成模型之上,给它们补上思考和理解物理规律的脑子。

目前的视频生成工具大多卷在画面逼真度上,一碰上连续性、因果关系或者空间互动就容易露出马脚。VBVR 就是为了解决视频缺乏深层逻辑的问题而设计的。

它能做什么

加持了 VBVR 后,视频模型能根据人类指令完成一系列复杂的视觉推理任务。

比如在第一帧画面中识别文字,并按照要求圈出特定的汉字;或者根据前序规律推断并补全几何形状序列;它甚至能像游戏引擎一样,指挥画面中的代理(Agent)在屏幕上自主绕行、收集圆点。

在物理模拟方面,它能处理 3D 物体旋转和复杂的流体平衡模拟。据测试,VBVR 在视觉谜题上的测试得分达到了 68.5%,在这些空间物理逻辑上,其表现明显压过了 Sora 2 和 V3.1。

百万级数据与可验证评测

这套框架之所以能跑通,核心在于解决了视频推理领域长期缺少大规模训练数据的瓶颈。

整个 VBVR 数据集涵盖了 200 项系统分类的推理任务,包含了超过 100 万个视频片段,规模比现有的同类数据集大了整整三个数量级。

配合数据集一起推出的还有 VBVR-Bench 评测基准。和常见的用大模型打分不同,它引入了基于规则且符合人类直觉的评分器,让每一次推理诊断都可解释、可复现。

更关键的是,研究团队在规模化扩展测试中发现,当数据量和参数推上去后,模型开始出现向从未见过的推理任务泛化的涌现迹象。

开放程度与怎么获取

目前 VBVR 已经在 Hugging Face 上完全开放,没有任何保留。

开源内容包括完整的 310 GB 推理训练数据集、VBVR-Bench 评测工具包以及训练好的相关模型。

如果你手头正在训练或微调自己的视频模型,可以直接前往 Hugging Face 下载对应的数据集和评测脚本。

为什么重要

对于从事具身智能、世界模型和视频生成的开发者来说,VBVR 值得尽早拉下来跑一遍。它把原本只能凭感觉微调的物理规律,变成了有 310 GB 标注数据和标准化打分器的工程问题。

我们认为,这也是视频生成赛道的一个分水岭。光靠堆算力生成漂亮画面的红利快见顶了,接下来拼的是谁能在视频里真正还原连续的现实物理规律。VBVR 这次把百万级数据完全开源,很可能会倒逼行业把注意力从「画质卷」转向真正的「时空理解」。

来源 (1)

  1. [1]

每日 AI 内容精选