Meta 发布 V-JEPA：不生成像素也能看懂视频，训练效率最高翻 6 倍

小婴儿甚至一只猫，把桌上的杯子推下去几次，就能凭直觉明白东西掉了会往地上摔。他们不用读几千本书，脑子里就有一套高度精简的物理世界模型。

Meta 沿着首席 AI 科学家 Yann LeCun 在 2022 年提出的架构，推出了视频模型 V-JEPA。它的目标不是去生成逼真的视频，而是像人类观察世界那样，构建一个能理解物理规律的机器大脑。

不抠像素，只抓大意

主流的视频模型大多走生成路线，尝试把缺失的每一个像素都还原出来。问题是，现实中充斥着根本无法预测的噪点，比如风吹过时树上每一片树叶的具体摆动。

如果 AI 把算力全花在猜叶子怎么动上，就很难看清整棵树是什么。V-JEPA 走了一条完全不同的路：它是一个非生成式模型，只在抽象的表征空间里做预测。

训练时，研究团队把视频里大块的时空信息直接抹掉。模型只看一小部分上下文，然后去预测被遮盖部分的高层概念，而不是具体的画面细节。

这种遮盖策略很有讲究。如果只是像打马赛克一样随机遮几个小块，或者只遮住某一瞬间的一帧，模型靠前后帧的残影就能轻易偷懒作弊。

团队选择在空间和时间两个维度同时挖掉大块内容，逼着模型必须搞懂场景里的物体之间到底在发生什么交互。

因为不再纠结细枝末节，V-JEPA 的训练和样本效率直接比传统方式提升了 1.5 到 6 倍。而且整个预训练过程完全依赖未标记的视频素材，不需要人工打标签。

冻结核心，换个帽子就能干新活

过去训练一个视频识别模型，过程往往非常笨重。好不容易预训练完，一旦要让它做细粒度的动作识别，就得把整个模型的所有参数重新全量微调一遍。

微调完之后，这个模型通常就废了其他技能，只能专精于这一项任务。想学新动作，又得换一套数据把整个模型再洗一遍。

V-JEPA 是第一个在冻结评估上表现出色的视频模型。自监督预训练结束后，它的编码器和预测器就彻底锁定不动，参数完全冻结。

如果想让它学会新技能，比如动作分类、细粒度物体交互识别或者动作定位，开发者只需要在它顶部加装一层极轻量的小网络进行训练。

核心骨架不需要重构，这就意味着同一个底层模型可以同时低成本挂载多个下游任务，不仅速度极快，还省下了大量的重复计算资源。

为什么重要

我们认为，V-JEPA 展现的是 Yann LeCun 对通用人工智能完全不同于 OpenAI 的技术执念。当整个行业都在狂热追求用像素级生成的扩散模型去模拟物理世界时，Meta 提醒了大家，理解世界和画出世界是两码事。

对开发者和具身智能团队来说，这个模型具有非常实在的工程价值。让机器人或者自动驾驶系统去理解环境，最怕的就是背景噪点过多导致算力爆炸。V-JEPA 这种学会主动忽略不可预测信息、只提炼高层常识的能力，正是机器人规划动作最需要的底层基础。

不过从实用角度看，普通用户现在还无法直接感受到它的效果。它不是一个能直接给你生成炫酷视频的玩具，而是一个底层的感知与世界模型基座。它的价值取决于接下来下游团队能在它上面挂载出多聪明的交互工具。

更深层的影响在于训练范式的转变。如果这种冻结底模加轻量适配头的路线在复杂场景下持续被验证有效，它将大幅拉低多模态视频分析的算力门槛，逼着行业重新评估生成式路线在物理推理任务上的性价比。