xAI, 추론 성능 높이고 128K 토큰 지원하는 'Grok-1.5' 공개

일론 머스크의 인공지능 스타트업 xAI가 추론 능력을 대폭 끌어올리고 128K 토큰 컨텍스트를 지원하는 신형 모델 'Grok-1.5'를 공개했습니다.

불과 2주 전 구버전인 Grok-1의 모델 가중치와 아키텍처를 오픈소스로 공개한 데 이어 곧바로 차기 모델 카드를 꺼내 든 셈입니다. 𝕏 플랫폼의 초기 테스터와 기존 Grok 사용자들을 대상으로 며칠 내 순차 배포될 예정입니다.

수학과 코딩 성능 급등, 기억 용량은 16배로

Grok-1.5의 가장 두드러진 변화는 계산과 코딩을 비롯한 복합 추론 영역에 집중되어 있습니다. 고난도 수학 경시대회 문제를 다루는 MATH 벤치마크 점수는 Grok-1 시절 23.9%에서 50.6%로 두 배 이상 뛰었습니다.

초등 수학 수준의 GSM8K 역시 62.9%에서 90%로 대폭 상승했습니다. 코드 생성 능력을 평가하는 HumanEval에서는 74.1%를 기록하며, 공식 비교표에 언급된 Claude 3 Sonnet의 73%, Gemini Pro 1.5의 71.9%, 2023년 3월 버전 GPT-4의 67%를 넘어섰습니다.

다양한 지식 분야를 다루는 MMLU 점수는 81.3%로 Mistral Large와 비슷한 수준까지 올라왔지만, Claude 3 Opus의 86.8%에는 여전히 못 미칩니다.

동시에 입력 처리 창을 이전의 16배인 128,000 토큰으로 대폭 넓혔습니다. 긴 문맥 속에서 특정 텍스트를 찾아내는 건초더미 속 바늘 찾기 평가에서도 128K 전체 범위에서 완벽한 검색 성능을 보였다고 밝혔습니다.

엔지니어링 아키텍처도 함께 공개되었습니다. xAI는 JAX, Rust, Kubernetes를 기반으로 맞춤형 분산 학습 프레임워크를 구축해, 결함이 발생한 노드를 자동으로 감지하고 제외하며 체크포인트 저장과 재시작 과정을 최적화해 대규모 GPU 클러스터의 다운타임을 최소화했다고 설명했습니다.

왜 중요한가

𝕏 유료 구독자들에게 Grok은 이제 단순한 풍자성 챗봇을 넘어, 긴 보고서를 요약하거나 코딩 문제를 해결하는 실질적인 생산성 도구로 자리 잡을 가능성이 열렸습니다.

업계 전반으로 보면 xAI의 속도전이 매섭습니다. 과거 버전의 전격 오픈소스 전환으로 커뮤니티의 관심을 끈 지 불과 보름 만에 선두권 모델을 바짝 추격하는 Grok-1.5를 내놓으며 최상위 경쟁 구도를 흔들고 있습니다.

특히 Rust와 JAX를 활용해 대규모 클러스터의 신뢰성을 직접 통제하는 맞춤형 학습 인프라를 탄탄히 다져놓은 점은 매우 영리한 선택으로 평가할 수 있습니다. 노드 장애로 인한 연산 낭비를 줄이는 엔지니어링 체력이야말로 향후 초대형 모델 개발의 핵심 경쟁력이 되기 때문입니다.

다만 벤치마크에서 비교 기준으로 삼은 GPT-4가 2023년 초기 모델이라는 점과, 현존 최고 수준인 Claude 3 Opus 대비 여전히 전반적인 격차가 존재한다는 점은 한계로 남습니다. 실제 사용자 피드백에서 이 수치들이 얼마나 체감될지가 관건입니다.