메타, CM3leon 공개: 텍스트·이미지 양방향 생성에 학습 연산량 5분의 1로 절감

텍스트로 이미지를 그리는 모델과 이미지를 보고 설명하는 모델은 그동안 전혀 다른 기술 계통으로 나뉘어 발전해 왔습니다. 둘을 한 시스템에서 쓰려면 서로 다른 모델을 이어 붙여야 했습니다.

Meta가 공개한 CM3leon은 이 경계를 하나의 모델로 허물었습니다. 카멜레온처럼 발음하는 이 기초 모델은 텍스트-이미지 생성과 이미지-텍스트 이해를 단일 아키텍처에서 모두 처리합니다.

언어 모델 훈련 방식을 그대로 이식

CM3leon은 인과적 마스킹 혼합 모달(CM3) 방식의 자기회귀 트랜스포머 모델입니다. 핵심은 텍스트 전용 거대언어모델을 만들 때 쓰던 조리법을 이미지 영역에 그대로 적용했다는 점입니다.

대규모 검색 증강 사전 훈련을 거친 뒤 다양한 작업을 학습시키는 지도 미세 조정을 적용했습니다. 이미지를 텍스트와 마찬가지로 토큰화해 다루는 구조입니다.

놀라운 점은 효율성입니다. 기존 트랜스포머 기반 이미지 생성 방식보다 연산 자원을 5배 적게 쓰고도, 제로샷 MS-COCO 벤치마크에서 FID 4.88을 기록했습니다. 이는 Google의 Parti 모델을 넘어서는 최고 수준의 성적입니다. 텍스트 훈련 데이터가 30억 토큰 수준에 불과했음에도 거대 데이터로 훈련된 기존 모델들을 앞서는 결과를 냈습니다.

생성, 편집, 시각 질의응답을 하나로

CM3leon은 여러 조건이 얽힌 복잡한 프롬프트도 섬세하게 구현합니다. 밀짚모자와 네온 선글라스를 쓴 사막의 선인장 같은 복합 객체 묘사는 물론, 특정 연도가 적힌 표지판처럼 디테일이 중요한 이미지도 정밀하게 그립니다.

단순히 이미지를 생성하는 데 그치지 않고, 이미지 기반 질의응답, 장문 캡션 작성, 텍스트 지시를 통한 이미지 편집까지 같은 모델에서 수행합니다.

예컨대 사진 속 하늘을 밝은 파란색으로 바꿔 달라는 지시를 수행할 때, 기존에는 InstructPix2Pix 같은 별도 전용 모델이 필요했습니다. CM3leon은 단일 가중치 안에서 이 모든 작업을 자연스럽게 처리합니다.

왜 중요한가

우리는 CM3leon이 확산 모델 중심으로 굳어진 생성 AI 시장에서 자기회귀 트랜스포머의 경쟁력을 다시 입증했다는 점에 주목합니다.

그동안 업계는 이미지 생성에는 확산 모델을, 언어 이해에는 트랜스포머를 쓰는 이원화 구조를 당연하게 여겨 왔습니다. 그러나 Meta는 훈련 비용을 5분의 1로 줄이면서도 텍스트 훈련 방식을 통해 최고 수준의 이미지 생성과 시각 이해를 동시에 해낼 수 있음을 보여주었습니다.

개발자와 기업 입장에서는 시스템 단순화라는 강력한 이점이 생깁니다. 인식 모델과 생성 모델을 따로 두고 중간 파이프라인을 복잡하게 연결할 필요 없이, 단일 인터페이스로 시각 질의응답과 이미지 편집을 처리할 수 있는 길이 열리기 때문입니다.

다만 실제 서비스 환경에서의 추론 지연 시간은 과제로 남을 수 있습니다. 자기회귀 모델 특성상 토큰을 순차적으로 생성해야 하므로, 경량화 기술이 빠르게 발전한 확산 모델 대비 응답 속도 최적화가 까다로울 수 있습니다. 그럼에도 모델 통합이라는 장기적 흐름에서 매우 설득력 있는 이정표를 세웠다고 판단합니다.