구글, Gemma 3 QAT 모델 공개: 27B 모델을 일반 소비자용 GPU에서 실행

개인 PC에서 고성능 대형 언어 모델을 로컬로 구동할 때 가장 큰 걸림돌은 언제나 그래픽카드의 VRAM 용량이었습니다. 27B 수준의 대형 모델을 온전히 돌리려면 고가의 데이터센터용 GPU가 필요했기 때문입니다.

Google이 오픈 모델인 Gemma 3에 양자화 인식 훈련(QAT)을 적용한 최적화 버전을 새로 공개했습니다. 일반 소비자용 GPU에서도 성능 저하를 최소화하면서 대형 모델을 직접 실행할 수 있게 되었습니다.

훈련 과정에서부터 압축을 학습하다

지난달 출시된 Gemma 3는 16비트 BFloat16(BF16) 정밀도에서 강력한 성능을 보여주었지만, 원본 그대로 구동하려면 NVIDIA H100 같은 고사양 하드웨어가 필요했습니다.

일반적으로 로컬 실행을 위해 쓰이는 사후 양자화(PTQ) 방식은 가중치를 4비트(int4)로 줄여 용량을 4분의 1로 압축하지만, 추론 능력이 눈에 띄게 떨어지는 문제가 있었습니다.

Google은 모델 훈련 단계에서부터 낮은 정밀도 연산을 시뮬레이션하는 QAT 기법을 적용했습니다. 원본 체크포인트의 확률값을 목표로 약 5,000 스텝 동안 훈련을 진행한 결과, Q4_0 포맷으로 양자화했을 때 발생하는 성능 저하(perplexity drop)를 llama.cpp 기준 54%나 줄여냈습니다.

RTX 3090 한 장으로 돌아가는 27B 모델

이번 배포에는 Gemma 3 라인업의 1B, 4B, 12B, 27B 모델이 모두 포함되었으며, 인스트럭션 튜닝(IT) 및 사전 훈련(PT) 버전이 함께 제공됩니다.

가장 직접적인 변화는 VRAM 요구량입니다. 모델 가중치를 로드하는 데 필요한 메모리가 반정밀도 대비 약 3분의 1 수준으로 줄어들었습니다. 이에 따라 24GB VRAM을 갖춘 NVIDIA RTX 3090 같은 소비자용 GPU 한 장에서도 Gemma 3 27B 모델을 로컬에서 구동할 수 있습니다.

Google은 Hugging Face와 Kaggle을 통해 공식 가중치를 공개했습니다. llama.cpp, Ollama, MLX 등에서 바로 쓸 수 있는 Q4_0 GGUF 파일뿐 아니라 양자화되지 않은 QAT 체크포인트도 함께 제공해 다양한 도구와의 연동을 지원합니다.

왜 중요한가

우리는 Google이 커뮤니티의 손에만 맡겨두던 양자화 공정을 직접 끌어안고 표준을 제시한 점을 높게 평가합니다.

그동안 오픈 가중치 모델을 4비트로 줄이는 작업은 주로 오픈소스 생태계의 사후 처리에 의존해 왔고, 20B급 이상의 모델은 압축 과정에서 추론 성능 손실이 불가피했습니다. Google이 수천 스텝의 추가 학습 비용을 들여 QAT 모델을 직접 내놓음으로써, 로컬 환경에서도 실용성 높은 27B 모델을 온전히 활용할 수 있게 되었습니다.

외부 API 비용을 아끼고 데이터 보안을 지키면서 로컬 에이전트나 코딩 도구를 구축하려는 개인 개발자에게 이번 배포는 즉시 도입을 검토할 만큼 매력적입니다.

다만 공식적으로 공개된 메모리 요구량은 모델 가중치에만 국한되며, 긴 대화를 이어갈 때 필요한 KV 캐시 메모리는 별도로 고려해야 합니다. 그럼에도 불구하고 기업이 직접 경량화 완성도를 끌어올려 배포하는 방식은 향후 오픈 모델 경쟁에 중요한 기준이 될 것으로 보입니다.