허깅페이스, 8B 오픈 멀티모달 모델 '아이데픽스2' 공개

Idefics2는 허깅페이스가 공개한 8B 크기의 오픈 멀티모달 모델입니다. 텍스트와 이미지가 섞인 임의의 입력을 받아 답변을 생성하며, 이미지 질의응답, 시각 설명, 다중 이미지 기반 스토리 생성, 문서 정보 추출 및 간단한 수리 연산을 수행할 수 있습니다.

이전 세대인 80B 크기의 Idefics1보다 모델 크기를 10분의 1로 줄였지만, 성능은 오히려 전 분야에서 큰 폭으로 향상되었습니다.

무엇을 할 수 있는가

Idefics2의 가장 두드러진 강점은 OCR과 문서 이해 능력입니다. 모델 학습 과정에서 텍스트 전사 및 도표, 차트 질의응답 데이터를 대량으로 주입해 판독 성능을 끌어올렸습니다.

문서 질의응답 벤치마크인 DocVQA에서 최대 74.0점을 기록했으며, 수학적 시각 추론을 평가하는 MathVista에서는 51.6점을 기록했습니다. 이는 34B 크기의 LLaVa-NeXT나 30B 크기의 MM1-Chat을 넘어서는 수치로, 대형 폐쇄형 모델들과도 견줄 수 있는 수준입니다.

토큰 효율도 뛰어납니다. 이미지 분할을 사용하지 않을 때는 이미지 한 장당 64개 토큰만 소모하며, 고해상도 처리를 위해 분할을 적용하더라도 320개 토큰이면 충분합니다.

어떻게 만들었는가

기반 모델로는 Mistral-7B-v0.1과 구글의 siglip-so400m-patch14-384를 결합했습니다. 두 모델 모두 아파치 2.0 라이선스로 배포된 오픈 모델입니다.

구조 면에서는 기존 Idefics1의 게이트형 크로스 어텐션 방식을 버리고 한층 간결한 설계를 택했습니다. 비전 인코더를 거친 시각 특징을 학습 가능한 Perceiver 풀링과 MLP 프로젝션을 거쳐 텍스트 임베딩과 직접 연결합니다.

이미지 처리 방식도 개선했습니다. NaViT 전략을 적용해 이미지를 강제로 정사각형으로 자르지 않고, 최대 980x980까지 원본 해상도와 화면비를 그대로 유지합니다. 초고해상도 이미지의 경우 4개 하위 이미지로 자동 분할해 처리할 수 있습니다.

허깅페이스는 모델 가중치와 함께 명령어 미세조정에 사용한 50개 멀티턴 데이터셋 묶음인 The Cauldron도 오픈소스로 함께 공개했습니다.

어떻게 실행하는가

Idefics2는 아파치 2.0 라이선스를 따르므로 상업적 환경에서도 자유롭게 쓸 수 있습니다.

최신 트랜스포머 라이브러리에 기본 내장되어 있어 AutoProcessor와 AutoModelForVision2Seq 클래스를 이용해 몇 줄의 파이썬 코드만으로 즉시 구동할 수 있습니다. 자체 데이터를 활용한 파인튜닝을 지원하기 위해 공식 코랩 노트북도 함께 제공됩니다.

왜 중요한가

8B 파라미터는 단일 소비자용 GPU에서도 원활하게 돌릴 수 있는 최적의 크기입니다. 막대한 인프라 비용을 들이기 어려운 개발자나 스타트업도 손쉽게 자체 문서 파싱 및 시각 비서 서비스를 구축할 수 있게 되었습니다.

가중치뿐만 아니라 사전 학습 모델, 미세조정 데이터셋인 The Cauldron까지 아파치 2.0으로 투명하게 공개했다는 점에서 오픈소스 멀티모달 생태계의 든든한 기준점이 될 것으로 보입니다.