구글, 인코더 없앤 'Gemma 4 12B' 공개: 16GB 노트북서 로컬 구동

구글이 일반 노트북 환경에서 멀티모달 에이전트 워크플로를 로컬로 구동할 수 있는 오픈소스 모델 'Gemma 4 12B'를 공개했다.

엣지 기기용 소형 모델인 E4B와 대형 26B MoE 사이의 간극을 메우는 모델로, 구글의 중간 체급 모델 중에서는 최초로 네이티브 오디오 입력 기능을 탑재했다. Gemma 4 시리즈의 누적 다운로드 수는 이미 1억 5천만 회를 넘어섰다.

무엇을 할 수 있는가

Gemma 4 12B는 시각 정보와 음성을 모두 인식하며, 복잡한 다단계 추론을 수행하는 에이전트 작업을 소비자용 하드웨어에서 가볍게 처리한다.

표준 벤치마크 테스트에서 대형 모델인 26B MoE에 근접하는 성능을 기록하면서도, 전체 메모리 사용량은 절반 이하로 줄였다.

구동에 필요한 사양은 16GB의 VRAM 또는 통합 메모리다. 일반적인 소비자용 노트북에서도 외부 클라우드 연결 없이 완전한 로컬 구동이 가능하다. 추론 지연 시간을 줄이기 위해 멀티 토큰 예측(MTP) 초안 작성기 기능도 기본 탑재했다.

인코더를 없앤 효율화 방식

기존 멀티모달 모델은 이미지나 오디오를 처리할 때 별도의 인코더를 거쳐 변환한 뒤 언어 모델 백본으로 전달했다. 이러한 분리형 인코더 구조는 지연 시간을 늘리고 메모리를 과도하게 점유하는 원인이었다.

Gemma 4 12B는 외부 인코더를 완전히 제거하고, 시각 및 오디오 입력을 LLM 백본에 직접 연결하는 구조를 택했다.

비전 처리의 경우 기존 비전 인코더를 단일 행렬 곱셈, 위치 임베딩, 정규화로만 구성된 초경량 임베딩 모듈로 교체했다. 실질적인 시각 정보 처리는 LLM 백본이 도맡는다.

오디오는 구조가 더 단순하다. 오디오 인코더 자체를 아예 없애고, 원시 오디오 신호를 텍스트 토큰과 동일한 차원 공간으로 직접 투영해 텍스트와 동등하게 처리한다.

로컬 구동 및 활용 방법

모델은 Apache 2.0 라이선스로 배포되었으며, 사전 학습 및 지시 튜닝된 가중치는 Hugging Face와 Kaggle에서 바로 내려받을 수 있다.

가볍게 사용해 보고 싶다면 LM Studio, Ollama, Google AI Edge Gallery 앱, LiteRT-LM CLI 등을 통해 몇 번의 클릭만으로 실행 가능하다.

개발자를 위한 지원도 탄탄하다. llama.cpp, MLX, vLLM, SGLang, Hugging Face Transformers 등 주요 추론 도구를 기본 지원하며, Unsloth를 통한 효율적인 미세 조정도 가능하다. 에이전트 구축을 돕는 공식 Gemma Skills 리포지토리도 함께 제공된다.

왜 중요한가

개인 개발자와 로컬 AI 사용자에게 16GB 노트북에서 멀티모달 에이전트를 자립적으로 돌릴 수 있다는 점은 대단히 매력적이다. 그동안 이미지와 음성을 동시에 다루려면 클라우드 API를 쓰거나 무거운 모델 구조 탓에 고사양 장비를 갖춰야 했다.

구글이 별도 인코더를 과감히 버리고 백본 직접 통합을 선택한 것은 매우 영리한 접근으로 보인다. 불필요한 메모리 낭비를 줄이면서도 충분한 지능을 유지할 수 있음을 증명했기에, 향후 오픈소스 생태계 전반에서 인코더리스 아키텍처가 빠르게 확산될 것으로 기대된다.