구글, 코드 특화 오픈 모델 ‘코드젬마’ 공개…2B·7B 3종 구성

코드젬마(CodeGemma)는 구글이 허깅페이스와 협력해 선보인 오픈 액세스 코드 특화 대형언어모델이다. 코드 완성, 코드 생성, 프로그래밍 질의응답을 로컬 및 클라우드 환경에서 수행하도록 설계됐다.

기존 젬마 2B와 7B 가중치를 바탕으로 코드, 수학, 영문 텍스트 등 5000억 토큰을 추가 학습시켰으며, 컨텍스트 길이는 8K 토큰을 지원한다.

3가지 모델 구성과 동작 방식

코드젬마는 사용 목적에 맞춰 3가지 버전으로 나뉜다.

2B 베이스 모델은 코드 중간 채우기(Fill-in-the-Middle) 작업에만 집중해 학습됐다. 지연 시간이 짧고 가벼워 로컬 개발 환경이나 보안이 중요한 온디바이스 코드 완성에 알맞다.

7B 베이스 모델은 학습 데이터의 80%를 코드 채우기로 채우고 자연어 데이터를 결합해 코드 생성과 언어 이해를 동시에 다룬다. 7B 인스트럭트(Instruct) 모델은 대화형 지시 수행에 맞게 미세조정되어 코딩 질의응답과 수학적 추론에 적합하다.

코드 완성 시에는 커서 앞뒤 맥락을 전용 토큰으로 감싸 모델에 전달하면 커서 위치에 들어갈 코드를 채워 넣는 방식을 사용하며, 다중 파일 컨텍스트도 지원한다.

벤치마크 결과를 보면 코드젬마 7B는 파이썬 휴먼이벌(HumanEval)과 자바, C++, 자바스크립트를 다루는 MultiPL-E 테스트에서 딥시크 코더 7B를 제외한 코드 라마 7B, 스타코더 2 7B를 앞섰다. 기술 보고서에 따르면 7B 모델 중 GSM8K 수학 추론에서도 가장 높은 점수를 기록했다.

하드웨어 요구 사양과 구동 환경

하드웨어 진입 장벽은 낮은 편이다.

float16 정밀도 기준 2B 모델을 구동하는 데 필요한 메모리는 약 6GB 수준으로, 일반 소비자용 GPU나 로컬 PC에서도 여유 있게 돌아간다. 7B 모델 역시 4비트 양자화를 적용하면 약 9GB 메모리로 실행할 수 있어 구글 코랩의 기본 GPU 환경에서도 구동된다.

체크포인트와 GGUF 파일은 허깅페이스 허브에 등록되어 있으며, 트랜스포머스 4.39 이상 버전에서 곧바로 불러올 수 있다. 파이토치와 JAX, 젬마.cpp, TensorRT-LLM을 폭넓게 지원하며 버텍스 AI와 허깅페이스 인퍼런스 엔드포인트를 통한 원클릭 배포도 가능하다.

한 가지 주의할 점은 7B 모델이 코드 완성 시 정답 이후에도 주석이나 추가 코드를 길게 덧붙이는 경향이 있어, 생성 함수에 구분자 토큰을 종료 조건으로 지정해 잘라주는 작업이 필요하다.

왜 중요한가

클라우드 API 비용을 들이지 않고 로컬 IDE에서 바로 작동하는 비공개 코드 완성 도구가 필요한 개발자라면 코드젬마 2B를 즉시 써볼 만하다. 노트북 환경에서도 입력 지연 없이 매끄러운 추천을 제공한다.

순수 코딩 벤치마크만 보면 딥시크 코더보다 약간 낮지만, 구글과 허깅페이스 생태계가 제공하는 탄탄한 배포 편의성과 툴체인 호환성은 큰 강점이다. 거대 모델 경쟁 대신 개발자가 일상에서 가볍게 쓸 수 있는 실용적인 로컬 베이스를 제공했다는 점에서 의미가 있다.