메타, 픽셀 대신 추상 개념 학습하는 이미지 AI 'I-JEPA' 오픈소스 공개

I-JEPA는 메타가 오픈소스로 공개한 컴퓨터 비전 모델이다. 화면의 픽셀을 일일이 복원하는 방식 대신, 사람처럼 고차원 추상 개념을 활용해 가려진 이미지 영역의 의미를 유추한다.

메타 FAIR 연구소를 비롯해 맥길 대학교, 밀라(Mila), 퀘벡 AI 연구소, 뉴욕 대학교 연구팀이 공동 개발했으며, 얀 르쿤 수석 AI 과학자도 주요 저자로 참여했다. 학습된 모델 가중치와 전체 코드는 깃허브를 통해 내려받을 수 있다.

픽셀 대신 추상 개념을 학습하는 원리

기존 이미지 자기지도학습 모델들은 누락된 픽셀을 정밀하게 다시 그려내는 방식을 주로 썼다. 이 방식은 계산 비용이 막대할 뿐 아니라 불필요한 배경 질감에 과도하게 매달리는 단점이 있었다.

I-JEPA는 비전 트랜스포머 기반의 결합 임베딩 예측 아키텍처를 도입해 문제를 해결했다. 학습 과정에서 이미지의 넓은 영역을 마스킹해 가린 뒤, 가려진 부분에 무엇이 들어갈지 유추하도록 유도한다.

핵심 구조는 세 가지로 나뉜다. 보이는 영역을 분석하는 문맥 인코더, 목표 블록을 예측하는 예측기, 그리고 전체 이미지에서 훈련 신호를 뽑아내는 타깃 인코더다.

타깃 인코더는 자잘한 픽셀 잡음을 걸러내는 필터 역할을 맡는다. 예측기는 픽셀이 아니라 고차원 추상 표현을 예측 목표로 삼기 때문에, 모델이 잔가지에 얽매이지 않고 사물의 본질적인 구조와 상식을 배우게 된다.

하드웨어 스펙과 벤치마크 성능

이번에 공개된 모델의 파라미터 수는 6억 3200만 개다. 픽셀 재구성을 건너뛴 덕분에 학습 효율이 압도적이다.

엔비디아 A100 GPU 16대만으로 72시간이 채 걸리지 않아 학습을 끝마쳤다. 유사한 수준의 데이터로 학습한 기존 컴퓨터 비전 모델들과 비교하면 GPU 학습 시간을 2배에서 최대 10배까지 아끼면서도 더 낮은 오류율을 보였다.

추출된 표현의 전이 학습 능력도 뛰어나다. 이미지넷 벤치마크 평가에서 클래스당 라벨링된 샘플이 12개에 불과한 상황에서도 높은 분류 성능을 기록했다. 단순 분류 외에 물체 개수 측정이나 깊이 추정 같은 공간 인지 평가에서도 상위권 성능을 나타냈다.

연구자와 개발자는 메타 깃허브 저장소에서 체크포인트와 평가 코드를 바로 확인해 활용할 수 있다.

왜 중요한가

비전 태스크를 다루는 개발팀에게 I-JEPA는 컴퓨팅 비용을 획기적으로 줄여주면서 라벨이 거의 없는 데이터로도 뛰어난 성능을 내는 매력적인 베이스 모델이다.

업계 전반으로 보면, 손가락을 엉뚱하게 그리는 식의 생성 AI 한계를 극복하려는 얀 르쿤의 철학이 제대로 입증된 사례다. 단순히 다음 픽셀이나 토큰을 맞추는 데 머무르지 않고, 추상적 표현을 통해 세계의 구조를 이해하는 비생성형 학습 경로는 향후 자율적 세계 모델로 나아가는 핵심 분기점이 될 것으로 보인다.