구글, 멀티모달 및 128K 컨텍스트 지원 오픈 모델 'Gemma 3' 공개

Gemma 3는 구글이 공개한 차세대 오픈 가중치 모델 제품군으로, 1B, 4B, 12B, 27B 네 가지 크기로 제공된다. 가장 작은 1B는 텍스트 전용이지만, 나머지 3개 모델은 텍스트와 이미지를 모두 처리하는 멀티모달을 지원하며 컨텍스트 윈도우는 최대 128k, 지원 언어는 140개 이상이다.

무엇을 할 수 있나

문서 요약과 이미지 분석, 시각적 질의응답 및 다국어 처리가 가능하다. 1B 모델의 컨텍스트 길이는 이전 세대의 8k에서 32k로 늘어났고, 4B, 12B, 27B 모델은 128k까지 처리할 수 있다.

모든 크기는 사전 학습 베이스 모델과 지시 튜닝 버전으로 함께 제공된다. 멀티모달 모델이지만 텍스트 작업만 필요하다면 비전 인코더를 메모리에 올리지 않고 순수 LLM으로 구동해 VRAM을 크게 절약할 수 있다.

성능 향상 폭도 크다. 4B 지시 튜닝 모델은 이전 세대의 Gemma 2 27B를 앞질렀으며, 27B 지시 튜닝 모델은 여러 벤치마크에서 상용 폐쇄형 모델인 Gemini 1.5 Pro를 뛰어넘었다.

어떻게 만들었나

128k 컨텍스트 확장에 들어가는 컴퓨팅 비용을 아끼기 위해 모델 전체를 처음부터 학습시키지 않았다. 대부분의 사전 학습을 32k 길이로 진행한 뒤, 사전 학습 마무리 단계에서만 4B, 12B, 27B 모델을 128k로 확장했다. 위치 임베딩 RoPE의 기본 주파수는 10k에서 1M으로 상향되고 8배 스케일링되었다.

메모리 관리는 슬라이딩 윈도우 교차 어텐션을 최적화했다. 로컬 레이어 5개당 글로벌 레이어 1개를 배치하고 윈도우 크기를 1024 토큰으로 줄여 성능 저하 없이 KV 캐시 사용량을 줄였다.

시각 인코더로는 896x896 해상도의 SigLIP을 사용한다. 고해상도 이미지는 적응형 크롭 방식을 통해 확대 분할한 뒤 인코딩한다. 텍스트 토큰이 단방향 인과적 어텐션을 사용하는 반면, 이미지 토큰에는 양방향 어텐션이 적용된다. 다국어 학습 데이터도 이전 대비 두 배로 늘렸으며 Gemini 2.0의 토크나이저를 채택했다.

모델 가중치는 Hugging Face에 공개되었으며, 바로 테스트해 볼 수 있는 데모 스페이스도 열려 있다.

왜 중요한가

온디바이스나 로컬 환경에서 모델을 구축하려는 개발자에게 Gemma 3는 바로 내려받아 볼 가치가 있다. 4B 모델이 이전 세대 27B를 능가하면서, 일반 노트북이나 단일 소비자용 GPU에서도 고성능 멀티모달 작업이 가능해졌다.

또한 오픈 가중치인 27B 모델이 Gemini 1.5 Pro를 넘어서는 성능을 보여줌으로써 상용 API와 오픈 모델 간의 성능 격차를 크게 좁혔다.