구글, 젬마 4 QAT 모델 공개…E2B 메모리 점유율 1GB 미만으로 축소

구글이 공개한 젬마 4 QAT는 스마트폰, 노트북, 보급형 GPU 등 일상적인 기기에서 가볍게 구동되도록 설계된 양자화 인식 훈련(QAT) 가중치다. 특히 젬마 4 E2B 텍스트 단독 모델의 경우, 동작에 필요한 메모리 점유율을 1GB 미만으로 획기적으로 줄였다.

온디바이스 환경에서 소형 모델을 돌리려면 압축이 필수적이지만, 기존의 훈련 후 양자화(PTQ)는 모델의 추론 능력 저하를 동반하기 쉬웠다. QAT는 훈련 과정 자체에서 양자화 손실을 시뮬레이션함으로써, 높은 성능과 지능을 보존하면서도 용량과 VRAM 소모를 크게 줄여준다.

1GB 안으로 압축한 방법

구글은 보편적인 Q4_0 형식 외에도, 온디바이스 전용 모델인 E2B와 E4B를 위한 맞춤형 모바일 양자화 방식을 고안했다.

가장 큰 특징은 정적 활성화다. 기기에서 실행할 때마다 스케일링 값을 실시간 계산하는 대신 훈련 단계에서 미리 산출해 두어 모바일 칩의 연산 부담을 줄이고 응답 속도를 끌어올렸다.

또한 모바일 가속기 하드웨어에 최적화된 채널별 양자화를 적용하고, 토큰 생성 레이어는 2-bit로 과감하게 압축하되 핵심 추론 레이어의 정밀도는 보존했다. 여기에 단어 집합 임베딩과 KV 캐시 압축까지 결합해 장시간 대화 시 메모리가 급증하는 현상을 막았다. 오디오나 비전 인코더를 뺀 순수 텍스트 구성이라면 E2B는 1GB 미만의 메모리로 충분히 구동된다.

실행 방법과 지원 도구

관련 가중치는 허깅페이스에 공개되어 있으며, 사용 중인 도구에 맞춰 바로 내려받을 수 있다.

PC나 노트북 환경에서는 llama.cpp, Ollama, LM Studio에서 즉시 쓸 수 있는 Q4_0 GGUF 포맷이 준비되어 있다. 맥 사용자라면 MLX를 통해 애플 실리콘에 최적화된 형태로 구동할 수 있고, 서버 환경에서는 vLLM과 SGLang의 압축 텐서 포맷을 지원한다.

온디바이스 배포 시에는 구글의 LiteRT-LM 런타임을 쓰거나 트랜스포머스js로 웹 브라우저에서 직접 실행하면 된다. 파인튜닝은 허깅페이스 트랜스포머스와 Unsloth를 지원하며, 다중 토큰 예측(MTP)의 추론 속도 개선점을 유지한 QAT 체크포인트도 함께 제공된다.

왜 중요한가

스마트폰이나 저전력 기기에서 로컬 AI를 실험하려는 개발자에게 매우 매력적인 대안이다. 기존 커뮤니티에서 PTQ로 무리하게 압축한 초소형 모델들은 답변 품질이 급격히 무너지는 문제가 흔했지만, 구글이 훈련 단계부터 정교하게 QAT를 적용하면서 1GB 수준의 메모리에서도 실용적인 추론 품질을 확보할 수 있게 됐다.

단순히 파라미터 숫자만 줄이는 경쟁에서 벗어나, KV 캐시와 모바일 칩 구조까지 함께 고려한 압축 기술이 소형 온디바이스 모델의 실질적인 유용성을 어떻게 끌어올릴 수 있는지 보여준 모범 사례다.