Metaが「V-JEPA」発表、画素を生成せず動画を理解する新アーキテクチャ

Metaは、チーフAIサイエンティストのヤン・ルカン氏が提唱するアーキテクチャに基づき、動画モデル「V-JEPA」を発表した。

人間や動物は、テーブルから物を落とす様子を観察するだけで、何千冊もの本を読まなくても重力の法則を直感的に理解する。V-JEPAは、この観察を通じた世界モデルの構築を機械で再現することを目指している。

画素を追わず、抽象的な概念だけを予測する

現在の動画生成モデルは、欠損したすべてのピクセルを正確に予測して埋めようとする。しかし、現実世界には風に揺れる個々の葉の動きのように、予測不能でタスクに関係のないノイズが無数に存在する。

V-JEPAは生成型ではなく、抽象的な表現空間の中で予測を行う非生成型アプローチを採用した。予測できない細部を無視することで、従来のモデルと比較して学習およびサンプル効率を1.5倍から6倍に向上させている。

学習方法にも工夫がある。動画の広い領域を空間と時間の両方で大幅にマスクし、文脈情報だけを手がかりに欠落した概念を推測させる。

小さなパッチをまばらに隠したり、ある特定の瞬間だけを隠したりすると、前後のフレームから簡単に答えが推測できてしまう。時空を大きく削ることで、モデルにシーンの根本的な構造を理解させている。

コアを固定したまま新タスクへ適応する

従来の映像認識モデルは、新しいタスクを学習させる際にすべてのパラメータを更新する完全なファインチューニングを必要とすることが多かった。これではモデルがその作業専用になってしまい、他の用途への汎用性が失われる。

V-JEPAは、動画モデルとして初めてコアを固定した状態での評価で高い性能を示した。事前学習を終えたエンコーダと予測器の重みには一切手を加えない。

動作の分類や細かな物体操作の認識といった下流タスクに適応させる際は、固定された基盤の上に軽量な専用層を追加して学習させるだけで済む。

事後学習に大量のラベル付きデータや膨大な計算資源を消費することなく、1つの基盤モデルを多彩な認識タスクへ即座に展開できる仕組みを整えた。

なぜ重要か

私たちは、V-JEPAが近年のピクセル生成至上主義に対する極めて強力なアンチテーゼになると考えている。動画を綺麗に描き出すことと、物理空間の因果関係を正しく理解することは本質的に異なるからだ。

特にロボティクスや自動運転の開発者にとって、不要な視覚的ノイズを切り捨てて物体の高次な意味だけを捉える能力は価値が高い。無駄な計算を省きつつ物理的な常識を獲得できるため、計画や推論を行うエージェントの目として実用的な選択肢になり得る。

一方で、一般的なユーザーが直接触れて楽しめる生成系ツールではない点には留意が必要だ。あくまで認識と理解に特化した基盤技術であり、真価を発揮するには外部の開発者がこれをどう応用するかにかかっている。

それでも、ラベルなし動画からの高効率な自律学習と、軽量な追加レイヤーによる適応という設計思想は、膨大な計算コストに悩む産業界に現実的なブレイクスルーを提示しているように見える。