메타, 비생성형 비디오 모델 'V-JEPA' 공개…학습 효율 최대 6배 개선

Meta가 수석 AI 과학자 얀 르쿤이 제안한 아키텍처를 기반으로 한 비디오 인공지능 모델 V-JEPA를 공개했다.

아기나 고양이가 식탁 위의 컵을 떨어뜨려 보며 자연스럽게 물리 법칙을 깨닫듯, 기계 역시 방대한 텍스트 학습 없이 관찰만으로 세상의 작동 방식을 배우도록 하겠다는 구상이다.

픽셀 집착을 버리고 추상적 개념을 예측하다

기존의 생성형 비디오 모델들은 화면 속 빈 픽셀을 하나하나 정밀하게 채워 넣는 데 집중해 왔다. 하지만 바람에 흔들리는 나뭇잎 하나하나의 움직임처럼 현실에는 예측 불가능하고 불필요한 정보가 너무 많다.

V-JEPA는 픽셀을 직접 그리는 대신 추상적 표현 공간에서 결손된 영역을 예측하는 비생성형 방식을 취했다. 불필요한 세부 정보를 과감히 버린 덕분에 학습 및 샘플 효율을 이전보다 1.5배에서 6배까지 끌어올렸다.

학습 방식도 독특하다. 비디오의 특정 영역을 시간과 공간 양쪽 축에서 대규모로 가려버린 뒤, 모델이 남겨진 맥락만을 보고 가려진 부분의 상위 개념을 유추하도록 훈련했다.

일부 픽셀만 무작위로 가리거나 찰나의 순간만 가리면 전후 프레임의 잔상을 통해 너무 쉽게 답을 맞혀버리기 때문이다. 시공간을 통째로 차단해야만 비디오 속 물리적 인과관계를 제대로 학습하게 된다.

모델을 얼려두고 가벼운 부품만 갈아 끼운다

기존 비전 모델들은 새로운 작업을 배울 때마다 전체 모델 파라미터를 다시 미세 조정해야 했다. 이 과정을 거치면 모델이 해당 작업에만 특화되어 다른 능력을 잃어버리는 문제가 있었다.

V-JEPA는 사전 훈련된 인코더와 예측기의 가중치를 완전히 고정하는 평가 방식에서 뛰어난 성과를 냈다. 한 번 비지도 학습으로 물리 세계를 이해시킨 뒤에는 핵심 구조를 전혀 건드리지 않는다.

동작 분류나 물체 간의 미세한 상호작용 인식 등 새로운 작업이 필요할 때는 상단에 매우 가벼운 전용 네트워크 층 하나만 얹어서 학습시키면 된다.

하나의 기반 모델을 두고 라벨링 데이터가 거의 없는 상태에서도 다양한 비전 작업에 즉각 투입할 수 있어 파인튜닝 비용이 획기적으로 줄어든다.

왜 중요한가

우리는 V-JEPA가 생성형 AI 일변도의 업계 흐름에 던지는 매우 날카로운 현실적 대안이라고 본다. 그럴싸한 비디오를 렌더링하는 것과 실제 물리 세계의 규칙을 머릿속에 모델링하는 것은 차원이 다른 문제이기 때문이다.

로봇 공학과 피지컬 AI를 개발하는 연구진에게 이 모델은 훌륭한 시각적 두뇌 후보가 될 수 있다. 로봇이 현장에서 물체를 집어 올리거나 이동 계획을 세울 때 필요한 것은 배경의 정밀한 화질이 아니라 물체가 어디로 움직일지에 대한 고수준의 물리적 이해다.

물론 일반 이용자가 프롬프트를 넣어 멋진 영상을 뽑아내는 창작 도구는 아니라는 한계가 분명하다. 어디까지나 기계의 인식과 추론 능력을 고도화하기 위한 백엔드 연구 모델에 가깝다.

그럼에도 라벨 없는 영상 데이터만으로 세상의 기본 상식을 배우고, 가벼운 헤드 추가만으로 다양한 실무 작업에 바로 적응할 수 있다는 점은 향후 멀티모달 AI의 연산 효율을 크게 바꿔놓을 것으로 보인다.