Meta 开源 I-JEPA：按抽象特征补全画面，训练算力省下数倍

I-JEPA 是 Meta 开源的计算机视觉模型，全称是图像联合嵌入预测架构。它专门用来理解图像内容，能在大面积画面被遮挡的情况下，准确推测出被盖住部分的核心含义，而不是死抠每一个像素点。

这套模型由 Meta FAIR 实验室、麦吉尔大学、Mila、魁北克人工智能研究所和纽约大学联合打造，图灵奖得主 Yann LeCun 也是核心作者之一。模型权重和代码目前都已经在 GitHub 上完整公开。

怎么做到的

传统的图像自监督模型喜欢教 AI 做像素级的填空题，让模型猜每个点的颜色和边缘，这不仅极其耗费算力，还容易让模型纠结于无关紧要的纹理细节。

I-JEPA 换了一种思路。训练时，研究人员会直接遮盖画面中的大块区域，模型需要去预测被遮盖部分的内容，但预测目标不是原始像素，而是更高维度的抽象特征。

它的核心架构基于 Vision Transformer，内部主要分成三个模块：处理可见画面的上下文编码器、负责预测的预测器，以及位于完整图像和预测器之间的目标编码器。

这个目标编码器就像一个过滤器，把不必要的像素噪点全部滤掉，只留下物体的结构、类别等高级语义信息。预测器拿到的和输出的都是这种抽象特征，因此模型学会的是像人一样理解世界常识，而不是机械地画点。

硬件门槛与测试成绩

I-JEPA 包含 6.32 亿参数。因为跳过了像素重建这一步，它的训练效率极高。

整个模型仅使用 16 块英伟达 A100 GPU，在不到 72 小时内就完成了训练。相比传统视觉自监督方法，它节省了两倍到十倍的 GPU 算力，同时在同等数据量下的错误率更低。

在下游评测中，这套学到的抽象表征展现了很强的迁移能力。在 ImageNet 基准测试上，每个类别仅仅提供 12 个标注样本，I-JEPA 就能跑出极高的分类准确率。

除了常规的图像分类，它在物体计数、深度预测等需要空间理解能力的基准测试中，表现同样超过了许多主流视觉模型。

想要尝试的开发者可以直接访问 Meta 的 GitHub 仓库下载预训练权重和评估代码，官方博客也提供了技术文档与论文细节。

为什么重要

计算机视觉领域苦算力成本久矣，I-JEPA 证明了放弃无意义的低阶像素细节，不仅能把训练成本打下来数倍，还能让模型学到更扎实的语义理解。对于从事下游视觉任务微调的开发者来说，它是一个非常轻量且高质量的特征提取基座。

在行业层面，这更像是 Yann LeCun 对当前自回归大模型路线发起的一次实践反击。现阶段基于提示词生成图像的工具经常画出多只手指，本质上就是缺乏对物理世界的常识认知；I-JEPA 为通向多模态和视频世界模型迈出了务实的一步，虽然它现在还不能直接用于画图，但这种非生成式的表征学习路径，很可能会重塑未来感知系统的底层逻辑。