메타, 텍스트·이미지 교차 생성하는 네이티브 멀티모달 모델 '카멜레온' 공개

지금까지 나온 대부분의 멀티모달 모델은 언어 모델에 별도의 비전 인코더를 덧붙여 이어 맞추는 후기 융합 방식을 써 왔습니다. 구현은 비교적 쉽지만, 텍스트와 이미지가 복잡하게 얽힌 문맥을 매끄럽게 처리하고 생성하는 데는 한계가 뚜렷했습니다.

Meta가 공개한 새로운 모델 제품군 Chameleon은 이 방식을 근본부터 뒤집었습니다. 이미지를 단어와 마찬가지로 이산 토큰으로 변환해 텍스트, 코드와 함께 단일 어휘집으로 묶고, 처음부터 하나의 트랜스포머 안에서 학습시켰습니다.

별도 디코더 없는 진정한 엔드투엔드 구조

Chameleon이 택한 것은 조기 융합 아키텍처입니다. 모달리티별로 전용 부품을 두는 대신, 이미지와 텍스트가 섞인 토큰 열 전체를 처음부터 끝까지 하나의 모델이 처리합니다.

Meta 연구진에 따르면 가장 유사한 모델은 Google의 Gemini입니다. 하지만 Gemini 역시 이미지 생성 단계에서는 별도의 이미지 디코더를 거치는 반면, Chameleon은 토큰 생성까지 단일 공간에서 끝내는 완전한 엔드투엔드 방식으로 작동합니다.

이런 까다로운 학습을 위해 Meta는 Nvidia A100 80GB GPU 기준 500만 시간 이상의 연산 자원을 투입했습니다. 4조 4천억 개의 토큰으로 구성된 데이터셋을 바탕으로 70억(7B) 및 340억(34B) 매개변수 모델 두 종을 훈련했습니다.

텍스트 성능 저하 없는 혼합 문서 생성

시각 능력을 주입하면 순수 텍스트 벤치마크 점수가 떨어지던 기존 멀티모달 모델의 고질병도 해결했습니다.

상식 추론과 독해력 등 순수 텍스트 평가에서 Chameleon은 Mixtral 8x7B 및 Gemini-Pro와 대등한 성능을 유지했습니다. 시각 질의응답(VQA)과 이미지 캡셔닝에서는 34B 모델이 Flamingo, IDEFICS, Llava-1.5를 모두 앞질렀습니다.

가장 눈에 띄는 대목은 텍스트와 이미지가 번갈아 등장하는 혼합 문서 생성 능력입니다. 실제 사람을 대상으로 진행한 선호도 평가에서 Chameleon이 생성한 혼합 문서가 기존 모델들보다 더 우수한 평가를 받았습니다.

왜 중요한가

우리는 Chameleon이 보여준 조기 융합 방식이 차세대 파운데이션 모델의 핵심 표준이 될 가능성이 높다고 봅니다. OpenAI와 Google이 멀티모달 기술의 세부 사항을 감추고 있는 상황에서, Meta가 네이티브 멀티모달의 구체적인 아키텍처와 성과를 투명하게 공개한 점은 기술 생태계에 적지 않은 자극제입니다.

사용자 관점에서는 텍스트와 삽화가 유기적으로 결합된 기술 문서나 리포트를 자동으로 뽑아내는 도구의 완성도가 비약적으로 올라갈 수 있습니다. 텍스트 생성기와 이미지 생성기를 따로 돌려 억지로 붙이던 기존 파이프라인의 이질감을 근본적으로 덜어낼 수 있기 때문입니다. 다만 Meta가 아직 모델 가중치를 외부에 배포하지 않아 당장 서비스에 붙여 쓸 수는 없습니다.

조기 융합 모델은 학습 안정성을 잡기 어렵고 막대한 인프라 비용이 든다는 명확한 약점이 있습니다. 하지만 Meta가 이전의 전례처럼 향후 Chameleon의 가중치를 오픈소스로 푼다면, 폐쇄형 상용 멀티모달 모델을 견제할 가장 유력한 대안이 될 것으로 보입니다.