Z.ai, 오픈소스 코딩 에이전트 'GLM-5.1' 공개...SWE-Bench Pro 1위

GLM-5.1은 Z.ai가 MIT 라이선스로 전격 공개한 플래그십 코딩 에이전트 모델입니다. 단일 작업에서 최장 8시간 동안 쉬지 않고 자율적으로 문제를 해결하도록 설계되었습니다.

코드 벤치마크인 SWE-Bench Pro에서 58.4점을 기록하며 GPT-5.4(57.7점)와 클로드 오퍼스 4.6(57.3점)을 모두 제치고 최고 기록을 세웠습니다. 현재 허깅페이스에서 가중치를 받아 상업적으로 활용할 수 있습니다.

무엇을 할 수 있나

기존 코딩 모델들은 몇 번의 반복 수정 후 성능이 정체되거나 목표에서 벗어나는 문제가 있었습니다. GLM-5.1은 수백 번의 코드 수정과 수천 번의 도구 호출 속에서도 목표를 잃지 않고 점진적으로 성능을 끌어올립니다.

Z.ai의 리더 Lou는 X를 통해 작년 말만 해도 에이전트가 20단계 정도를 처리하는 데 그쳤지만, GLM-5.1은 현재 1,700단계를 거뜬히 수행한다고 설명했습니다. 그는 자율 작업 시간이 스케일링 법칙 이후 가장 중요한 지표라고 덧붙였습니다.

실제 성과도 구체적입니다. 벡터 데이터베이스 최적화 테스트인 VectorDBBench에서 러스트 기반의 빈 골격 코드를 준 뒤 자율적으로 코드를 수정, 컴파일, 벤치마크하도록 했습니다.

클로드 오퍼스 4.6이 3,547 QPS에서 정체된 반면, GLM-5.1은 655회의 반복과 6,000회 이상의 도구 호출을 거쳐 약 6배에 달하는 21,500 QPS를 달성했습니다.

90번째 반복에서 전체 탐색을 IVF 클러스터링으로 바꾸고, 240번째 반복에서는 2단계 파이프라인을 도입하는 등 구조적 개선을 스스로 해냈습니다. 검색 재현율이 95% 이하로 떨어지면 스스로 원인을 진단하고 파라미터를 보정하기도 했습니다.

또한 KernelBench Level 3에서는 단일 H100 GPU가 탑재된 컨테이너 환경에서 MobileNet, VGG, Mamba 등을 위한 GPU 커널을 최대 1,200회 도구 호출을 거치며 최적화했습니다.

사양과 실행 방법

GLM-5.1은 총 파라미터 7,540억 개 규모의 MoE 구조를 갖췄으며, 202,752 토큰의 컨텍스트 윈도우를 지원합니다.

완전한 MIT 라이선스로 배포되어 기업 내 자체 구축 및 상업적 커스터마이징이 가능합니다. 가중치는 허깅페이스에서 다운로드할 수 있습니다.

다만 754B 규모의 거대 MoE 모델인 만큼, 로컬에서 구동하려면 엔터프라이즈급 다중 GPU 클러스터가 필수적입니다.

왜 중요한가

수시간에 걸쳐 스스로 코드를 고치고 테스트하는 초장기 에이전트 능력은 그동안 소수 폐쇄형 모델의 전유물이었습니다. GLM-5.1은 오픈소스 진영에서도 최전선 상용 모델을 넘어서는 엔지니어링 에이전트를 직접 돌려볼 수 있음을 증명했습니다.

데이터베이스 엔진 튜닝이나 딥러닝 커널 최적화 같은 대규모 엔지니어링 병목을 겪고 있는 팀이라면 즉시 검토해 볼 가치가 충분합니다. 다만 단순 코드 자동완성이나 짧은 스크립트 작성에 쓰기에는 컴퓨팅 자원 소모가 지나치게 큽니다.