Meta 開源 I-JEPA：按抽象特徵補全畫面，訓練算力省下數倍

I-JEPA 是 Meta 開源的計算機視覺模型，全稱是影像聯合嵌入預測架構。它專門用來理解影像內容，能在大面積畫面被遮擋的情況下，準確推測出被蓋住部分的核心含義，而不是死摳每一個畫素點。

這套模型由 Meta FAIR 實驗室、麥吉爾大學、Mila、魁北克人工智慧研究所和紐約大學聯合打造，圖靈獎得主 Yann LeCun 也是核心作者之一。模型權重和程式碼目前都已經在 GitHub 上完整公開。

怎麼做到的

傳統的影像自監督模型喜歡教 AI 做畫素級的填空題，讓模型猜每個點的顏色和邊緣，這不僅極其耗費算力，還容易讓模型糾結於無關緊要的紋理細節。

I-JEPA 換了一種思路。訓練時，研究人員會直接遮蓋畫面中的大塊區域，模型需要去預測被遮蓋部分的內容，但預測目標不是原始畫素，而是更高維度的抽象特徵。

它的核心架構基於 Vision Transformer，內部主要分成三個模組：處理可見畫面的上下文編碼器、負責預測的預測器，以及位於完整影像和預測器之間的目標編碼器。

這個目標編碼器就像一個過濾器，把不必要的畫素噪點全部濾掉，只留下物體的結構、類別等高階語義資訊。預測器拿到的和輸出的都是這種抽象特徵，因此模型學會的是像人一樣理解世界常識，而不是機械地畫點。

硬體門檻與測試成績

I-JEPA 包含 6.32 億引數。因為跳過了畫素重建這一步，它的訓練效率極高。

整個模型僅使用 16 塊輝達 A100 GPU，在不到 72 小時內就完成了訓練。相比傳統視覺自監督方法，它節省了兩倍到十倍的 GPU 算力，同時在同等資料量下的錯誤率更低。

在下游評測中，這套學到的抽象表徵展現了很強的遷移能力。在 ImageNet 基準測試上，每個類別僅僅提供 12 個標註樣本，I-JEPA 就能跑出極高的分類準確率。

除了常規的影像分類，它在物體計數、深度預測等需要空間理解能力的基準測試中，表現同樣超過了許多主流視覺模型。

想要嘗試的開發者可以直接訪問 Meta 的 GitHub 倉庫下載預訓練權重和評估程式碼，官方部落格也提供了技術文件與論文細節。

為什麼重要

計算機視覺領域苦算力成本久矣，I-JEPA 證明了放棄無意義的低階畫素細節，不僅能把訓練成本打下來數倍，還能讓模型學到更紮實的語義理解。對於從事下游視覺任務微調的開發者來說，它是一個非常輕量且高質量的特徵提取基座。

在行業層面，這更像是 Yann LeCun 對當前自迴歸大模型路線發起的一次實踐反擊。現階段基於提示詞生成影像的工具經常畫出多隻手指，本質上就是缺乏對物理世界的常識認知；I-JEPA 為通向多模態和影片世界模型邁出了務實的一步，雖然它現在還不能直接用於畫圖，但這種非生成式的表徵學習路徑，很可能會重塑未來感知系統的底層邏輯。