ZGCM-1: 수학과 검색에 특화된 7.39B 오픈소스 모델 공개

ZGCM-1은 중관춘 아카데미와 중관춘 인공지능 연구원이 수학 추론과 도구 기반 검색을 위해 처음부터 학습시킨 7.39B 파라미터 밀집 언어 모델입니다.

256K 토큰 컨텍스트를 지원하며, 내부 사고 모드와 직접 응답 모드를 모두 갖추고 있습니다. 소비자용 GPU 환경에서 손쉽게 구동할 수 있을 뿐만 아니라 데이터 처리부터 강화학습에 이르는 전체 학습 파이프라인이 투명하게 공개되었습니다.

무엇을 할 수 있나

가장 두드러진 강점은 수학적 추론 능력입니다. 사고 모드 기준으로 MATH-500에서 97.13%를 기록했고, AIME 2026에서 75.00%, HMMT 2025에서 70.42%를 달성했습니다. 보고서에 포함된 7B에서 8B 체급의 7개 모델 가운데 14개 추론 벤치마크 평균 순위에서 1위를 차지했습니다.

웹 검색 및 도구 활용 에이전트 성능도 뛰어납니다. 다단계 도구 사용 평가인 WebWalkerQA에서 63.09%, BrowseComp에서 19.43%, 텍스트 전용 GAIA에서 42.52%를 기록했습니다. 기드라 도구를 활용한 바이너리 함수 검색 작업에서도 50개 과제 중 31개를 정확히 찾아내며 62.00%의 정확도를 보였습니다.

어떻게 만들었나

7B 규모의 크기에서 이러한 효율을 내기 위해 하이브리드 어텐션 아키텍처를 도입했습니다.

총 32개 레이어 중 27개 레이어에 로컬 윈도우 크기 128 토큰의 게이트 슬라이딩 윈도우 방식을 적용하고, 나머지 5개 레이어만 글로벌 어텐션으로 구성했습니다. 이를 통해 256K 길이에서 기존 완전 어텐션 대비 3.94배 높은 학습 처리량을 확보했습니다.

학습은 3단계로 진행되었습니다. FP8 정밀도와 뮤온 옵티마이저를 결합해 약 4.19T 토큰을 사전 학습했으며, 이어 16K에서 64K, 256K로 길이를 늘려가며 약 600B 토큰의 중간 학습을 거쳤습니다. 마지막 단계에서는 실행 검증을 거친 궤적 데이터와 보조자 전용 손실 함수를 적용해 미세조정과 강화학습을 완료했습니다.

사양과 공개 범위

ZGCM-1은 7.39B 파라미터 크기로 일반 소비자용 그래픽 카드에서도 단독으로 구동할 수 있습니다.

저장소는 MIT 라이선스로 배포되며 데이터 거버넌스, 사전 학습, 중간 학습, 지도 미세조정, 강화학습 등 각 단계별 실행 가이드와 코드가 디렉터리별로 깔끔하게 나뉘어 있습니다. 모델 가중치와 데이터셋은 허깅페이스를 통해 내려받을 수 있습니다.

왜 중요한가

거대 모델을 서빙하기 부담스러운 개인 개발자나 소규모 연구팀에게 단일 GPU로 고난도 수학 연산과 웹 검색 에이전트를 돌릴 수 있다는 점은 매우 실용적인 장점입니다.

일부 외부 평가에서는 보고서가 구버전 베이스라인 모델들과 비교해 다소 유리하게 수치를 강조했다는 지적도 나옵니다. 하지만 7B 크기에서 MATH-500 점수 97% 이상을 기록한 데다 원시 데이터 전처리부터 RL까지 모든 레시피를 이 정도로 투명하게 공개한 사례는 드물기 때문에, 직접 테스트해 볼 가치가 충분합니다.