구글, 차세대 오픈 모델 'Gemma 2' 공개…27B 모델 단일 GPU 구동

구글이 제미나이(Gemini)와 동일한 연구 기술을 기반으로 구축한 차세대 경량 오픈 모델 'Gemma 2'를 공식 공개했습니다. 90억(9B) 및 270억(27B) 매개변수의 두 가지 크기로 제공되며, 기본 사전학습 모델과 지시 조정 모델 모두 상업적 이용이 가능한 라이선스로 배포됩니다.

이번 모델의 핵심은 압도적인 가성비와 체급을 뛰어넘는 성능입니다. 27B 모델은 자기 크기의 두 배가 넘는 모델과 대등한 성능을 내며, 불과 6개월 전 독점 플래그십 모델 수준의 성능을 제공합니다. 특히 엔비디아 H100 텐서 코어 GPU, A100 80GB 또는 단일 구글 클라우드 TPU 호스트 하나에서 전체 정밀도로 추론이 가능해 인프라 운영 비용을 획기적으로 낮출 수 있습니다. 9B 모델 역시 Llama 3 8B를 제치고 동급 최강 성능을 기록했으며, 조만간 더 가벼운 2.6B 모델도 추가될 예정입니다.

어떻게 소형 모델의 한계를 넘었나

Gemma 2는 8192 토큰의 컨텍스트 길이를 지원하며, 아키텍처 전반을 효율성 중심으로 재설계했습니다.

가장 눈에 띄는 변화는 슬라이딩 윈도우 어텐션(Sliding window attention)의 교차 적용입니다. 모든 레이어에 적용하는 대신 4096 토큰 범위의 로컬 어텐션과 8192 토큰 전체를 보는 글로벌 어텐션을 층마다 번갈아 배치해 긴 문맥 이해도를 유지하면서 메모리와 연산 부담을 줄였습니다.

학습 안정성을 위해 소프트 캐핑(Logit soft-capping) 기술도 도입했습니다. 어텐션 레이어와 최종 출력 레이어에서 로짓 수치가 과도하게 튀지 않도록 tanh 함수를 통해 특정 범위로 제어하는 방식입니다.

여기에 9B 모델은 대형 교사 모델을 활용한 지식 증류(Knowledge Distillation)를 사전학습 단계부터 거쳤습니다. 학습 데이터양 역시 이전 세대보다 약 2배 늘려 27B 버전은 13조 토큰, 9B 버전은 8조 토큰을 학습했습니다.

지원 하드웨어와 사용 방법

개발자 도구 지원도 탄탄합니다. 허깅페이스 트랜스포머를 비롯해 vLLM, Ollama, Keras 3.0, JAX, PyTorch, TensorFlow와 즉시 호환되며, 엔비디아 TensorRT-LLM 최적화도 기본 지원합니다.

하드웨어 요구 사양도 현실적입니다. 27B 모델은 단일 80GB GPU에서 전체 정밀도로 구동할 수 있으며, 로컬 PC 환경에서는 Gemma.cpp를 통해 CPU에서 양자화 모델을 실행하거나 지포스 RTX 그래픽카드를 장착한 데스크톱 및 게이밍 노트북에서도 직접 돌려볼 수 있습니다.

모델 가중치는 허깅페이스와 캐글에서 바로 다운로드할 수 있으며, 구글 AI 스튜디오를 이용하면 별도 하드웨어 세팅 없이 웹에서 27B 모델을 무료로 체험할 수 있습니다.

왜 중요한가

개인 개발자나 비용 효율을 중시하는 스타트업에게 Gemma 2 27B는 지금 당장 도입을 검토해야 할 1순위 오픈 모델입니다. 기존에는 복수의 고성능 GPU를 묶어야 겨우 구동되던 수준의 성능을 단 한 장의 GPU로 내려앉혔기 때문입니다.

메타의 Llama가 주도하던 오픈소스 진영 경쟁에서도 구글이 구조 혁신과 증류 기술을 통해 확실한 차별화 포인트를 증명해 냈습니다. 단일 카드에서 거뜬히 돌아가는 고효율 중소형 모델 경쟁은 앞으로 기업들의 온프레미스 구축과 서비스 상용화 장벽을 크게 낮출 것으로 보입니다.