Meta 釋出 V-JEPA：不生成畫素也能看懂影片，訓練效率最高翻 6 倍

小嬰兒甚至一隻貓，把桌上的杯子推下去幾次，就能憑直覺明白東西掉了會往地上摔。他們不用讀幾千本書，腦子裡就有一套高度精簡的物理世界模型。

Meta 沿著首席 AI 科學家 Yann LeCun 在 2022 年提出的架構，推出了影片模型 V-JEPA。它的目標不是去生成逼真的影片，而是像人類觀察世界那樣，構建一個能理解物理規律的機器大腦。

不摳畫素，只抓大意

主流的影片模型大多走生成路線，嘗試把缺失的每一個畫素都還原出來。問題是，現實中充斥著根本無法預測的噪點，比如風吹過時樹上每一片樹葉的具體擺動。

如果 AI 把算力全花在猜葉子怎麼動上，就很難看清整棵樹是什麼。V-JEPA 走了一條完全不同的路：它是一個非生成式模型，只在抽象的表徵空間裡做預測。

訓練時，研究團隊把影片裡大塊的時空資訊直接抹掉。模型只看一小部分上下文，然後去預測被遮蓋部分的高層概念，而不是具體的畫面細節。

這種遮蓋策略很有講究。如果只是像打馬賽克一樣隨機遮幾個小塊，或者只遮住某一瞬間的一幀，模型靠前後幀的殘影就能輕易偷懶作弊。

團隊選擇在空間和時間兩個維度同時挖掉大塊內容，逼著模型必須搞懂場景裡的物體之間到底在發生什麼互動。

因為不再糾結細枝末節，V-JEPA 的訓練和樣本效率直接比傳統方式提升了 1.5 到 6 倍。而且整個預訓練過程完全依賴未標記的影片素材，不需要人工打標籤。

凍結核心，換個帽子就能幹新活

過去訓練一個影片識別模型，過程往往非常笨重。好不容易預訓練完，一旦要讓它做細粒度的動作識別，就得把整個模型的所有引數重新全量微調一遍。

微調完之後，這個模型通常就廢了其他技能，只能專精於這一項任務。想學新動作，又得換一套資料把整個模型再洗一遍。

V-JEPA 是第一個在凍結評估上表現出色的影片模型。自監督預訓練結束後，它的編碼器和預測器就徹底鎖定不動，引數完全凍結。

如果想讓它學會新技能，比如動作分類、細粒度物體互動識別或者動作定位，開發者只需要在它頂部加裝一層極輕量的小網路進行訓練。

核心骨架不需要重構，這就意味著同一個底層模型可以同時低成本掛載多個下游任務，不僅速度極快，還省下了大量的重複計算資源。

為什麼重要

我們認為，V-JEPA 展現的是 Yann LeCun 對通用人工智慧完全不同於 OpenAI 的技術執念。當整個行業都在狂熱追求用畫素級生成的擴散模型去模擬物理世界時，Meta 提醒了大家，理解世界和畫出世界是兩碼事。

對開發者和具身智慧團隊來說，這個模型具有非常實在的工程價值。讓機器人或者自動駕駛系統去理解環境，最怕的就是背景噪點過多導致算力爆炸。V-JEPA 這種學會主動忽略不可預測資訊、只提煉高層常識的能力，正是機器人規劃動作最需要的底層基礎。

不過從實用角度看，普通使用者現在還無法直接感受到它的效果。它不是一個能直接給你生成炫酷影片的玩具，而是一個底層的感知與世界模型基座。它的價值取決於接下來下游團隊能在它上面掛載出多聰明的互動工具。

更深層的影響在於訓練範式的轉變。如果這種凍結底模加輕量適配頭的路線在複雜場景下持續被驗證有效，它將大幅拉低多模態影片分析的算力門檻，逼著行業重新評估生成式路線在物理推理任務上的價效比。