구글, Gemma 4 전용 MTP 드래프터 공개: 추론 속도 최대 3배 향상

구글이 Gemma 4 오픈 모델 제품군을 위한 다중 토큰 예측(MTP) 드래프터 모델을 공개했습니다. 출력 품질이나 추론 정확도의 저하 없이, 로컬 PC나 모바일 기기에서 Gemma 4의 생성 속도를 최대 3배까지 끌어올릴 수 있는 도구입니다.

표준 대규모 언어 모델은 토큰을 하나씩 순차 생성하기 때문에 메모리 대역폭 병목에 쉽게 걸립니다. MTP 드래프터는 투기적 디코딩 방식을 활용해 대형 타깃 모델과 초경량 드래프터 모델을 결합함으로써 이 지연 시간을 획기적으로 줄여줍니다.

작동 원리와 주요 최적화

타깃 모델이 토큰 하나를 계산하는 동안, 경량 드래프터 모델이 유휴 연산력을 활용해 앞으로 나올 여러 토큰을 한 번에 예측합니다.

이후 주 모델인 Gemma 4가 드래프트된 토큰들을 한 번의 순방향 연산으로 병렬 검증합니다. 타깃 모델이 예측을 승인하면 전체 시퀀스가 한 번에 채택되고, 그 과정에서 자체 추가 토큰 하나까지 함께 생성됩니다.

최종 검증 권한을 원본 모델이 그대로 쥐고 있기 때문에 결과물의 논리나 품질 손실은 전혀 발생하지 않습니다. 드래프터는 타깃 모델의 활성화 값과 KV 캐시를 공유해 문맥 재계산을 건너뛰며, 온디바이스용 E2B와 E4B 모델에는 임베더 클러스터링 기술을 더해 단어 사전 계산 병목까지 줄였습니다.

지원 사양 및 구동 환경

MTP 드래프터는 26B MoE, 31B Dense 모델부터 경량화 버전인 E2B, E4B까지 두루 지원합니다. NVIDIA RTX PRO 6000에서 26B 모델을 구동한 테스트에서는 대기 시간이 절반으로 줄어들며 최대 3배의 속도 향상을 기록했습니다.

애플 실리콘 환경에서도 배치 크기를 4에서 8로 설정할 경우 26B MoE 모델에서 약 2.2배의 가속을 얻을 수 있으며, NVIDIA A100 환경에서도 유사한 성능 개선이 나타납니다.

라이선스는 Gemma 4와 동일한 Apache 2.0 오픈소스입니다. 가중치는 Hugging Face와 Kaggle에서 즉시 다운로드할 수 있으며, vLLM, Ollama, MLX, SGLang, Transformers, LiteRT-LM 프레임워크를 공식 지원합니다. 모바일 환경의 경우 Google AI Edge Gallery 앱을 통해 바로 확인해볼 수 있습니다.

왜 중요한가

로컬 환경에서 거대 모델을 굴릴 때 가장 큰 걸림돌은 늘 메모리 대역폭이었습니다. 이번 공식 드래프터의 장점은 개발자가 별도의 소형 모델을 학습시키거나 정렬할 필요 없이, 기존 파이프라인에 그대로 얹어 즉각적인 가속을 얻을 수 있다는 점입니다.

응답 지연이 절반 이하로 줄어들면 로컬 코딩 어시스턴트나 복잡한 멀티스텝 에이전트의 체감 사용성이 완전히 달라집니다. Gemma 4 기반 프로젝트를 로컬이나 온디바이스에서 운영하고 있다면 주저 없이 적용해볼 가치가 충분합니다.