Qwen2-Math 공개: 72B 수학 모델이 GPT-4o 제쳤다

범용 대형 언어 모델들은 글쓰기나 코딩에서는 뛰어난 실력을 보여주지만, 복잡한 수학 경시대회 수준의 논리 추론 앞에서는 여전히 한계를 드러내곤 합니다.

Qwen(통의천문) 팀이 이러한 수학적 추론 능력을 극대화한 특화 언어 모델 시리즈인 Qwen2-Math를 공개했습니다. 베이스 모델과 지시 튜닝(Instruct) 모델로 나뉘며, 파라미터 규모는 1.5B, 7B, 72B 세 가지로 구성됩니다.

가장 눈에 띄는 것은 플래그십인 Qwen2-Math-72B-Instruct의 성능입니다. 공개된 벤치마크 결과에 따르면, 이 72B 모델은 동급 오픈소스 모델은 물론 Llama-3.1-405B와 GPT-4o, Claude-3.5-Sonnet, Gemini-1.5-Pro 같은 주요 폐쇄형 프론티어 모델의 수학 성적을 모두 넘어섰습니다.

전용 보상 모델과 GRPO 강화학습의 결합

이러한 결과는 단순히 수학 시험지를 많이 학습시킨다고 나오는 수준이 아닙니다.

베이스 모델은 Qwen2를 기반으로 고품질 수학 웹 텍스트, 도서, 코드, 기출문제는 물론 Qwen2가 자체 합성한 수학 데이터를 대규모로 투입해 사전 학습을 진행했습니다.

이어지는 튜닝 단계에서는 72B 기반의 수학 전용 보상 모델을 구축했습니다. 세밀한 보상 신호와 정답 여부 신호를 결합해 기각 샘플링(Rejection Sampling)으로 정제된 데이터를 만들고, 지도 미세조정(SFT) 이후에는 GRPO(Group Relative Policy Optimization) 알고리즘을 통한 강화학습을 거쳤습니다.

실제로 1.5B와 7B 같은 소형 모델에서도 보상 모델을 활용한 평가 방식이 정답률을 크게 끌어올렸습니다. 공식 블로그에 공개된 사례에서는 국제수학올림피아드(IMO) 쇼트리스트 문제의 합동식과 다항식 증명 과정을 단계별로 풀어내는 모습을 보였습니다.

다만 이번 첫 버전은 영어 프롬프트를 중심으로 지원합니다. 연구팀은 향후 중국어와 영어를 모두 원활하게 지원하는 이중 언어 수학 모델을 곧 선보일 계획이라고 밝혔습니다.

왜 중요한가

우리는 Qwen2-Math가 거대 범용 모델 일변도의 흐름에서 특화 모델이 거둘 수 있는 확실한 효용을 보여줬다고 봅니다.

연구자나 학생, 수학적 연산 워크플로우를 구축하는 개발자 입장에서, 고가의 상용 API를 쓰지 않고도 로컬이나 자체 서버에서 GPT-4o 이상의 수학 추론 엔진을 돌릴 수 있게 된 셈입니다. 특히 1.5B와 7B 모델까지 실용성을 확보하면서, 일반 소비자용 GPU 환경에서도 수학 연산 검증기를 부담 없이 실험해볼 수 있습니다.

산업적으로는 합성 데이터와 전용 보상 모델, 강화학습 파이프라인의 조합이 모델의 논리적 한계를 깨는 데 얼마나 효과적인지를 증명했습니다.

하지만 명확한 한계도 기억해야 합니다. 수학은 단 하나의 논리적 오류로도 전체 결론이 뒤집히는 영역이지만, Qwen 팀 역시 풀이 과정 중의 모든 주장이 완벽하게 옳다고 보장하지는 않는다고 명시했습니다. 지금 당장은 최종 정답을 무조건 신뢰하기보다는, 복잡한 증명 아이디어를 얻거나 풀이를 교차 검증하는 협업 도구로 활용하는 것이 바람직해 보입니다.