xAI, 3일 만에 추론 스택 재작성…Grok-2 mini 속도 2배 향상

모델이 출시된 지 일주일도 채 되지 않아 핵심 추론 엔진이 전면 교체되었습니다.

xAI의 개발자 이고르 바부슈킨(Igor Babuschkin)은 X를 통해, 팀 내 엔지니어인 리안민 정(Lianmin Zheng)과 사에드 말레키(Saeed Maleki) 두 사람이 오픈소스 프레임워크 SGLang을 활용해 3일 만에 추론 코드 스택을 처음부터 완전히 다시 작성했다고 밝혔습니다.

개선 효과는 즉각적이었습니다. 상대적으로 가볍고 빠른 반응을 목표로 설계된 Grok-2 mini의 생성 속도는 전날 대비 2배 빨라졌습니다. 아울러 여러 대의 머신을 연결해야 하는 멀티 호스트 추론이 필수적인 대형 Grok-2 모델 역시 실사용에 무리 없는 적정 속도로 서비스할 수 있게 되었습니다. 바부슈킨은 두 모델 모두 속도뿐만 아니라 정확도까지 소폭 향상되었다고 덧붙였습니다.

오픈소스 SGLang으로 3일 만에 엔진 교체

이번 단기 재구축을 가능하게 만든 핵심 도구는 Apache 2.0 라이선스 기반의 오픈소스 시스템인 SGLang입니다.

스탠퍼드 대학교, UC 버클리, 텍사스 A&M 대학교, 상하이 교통대학교 연구진이 공동 개발한 이 프레임워크는 프론트엔드 언어와 백엔드 런타임을 결합해 복잡한 LLM 애플리케이션의 실행을 최적화합니다. 자동 캐시 재사용과 단일 프로그램 내 병렬 처리를 통해 기존 서빙 시스템 대비 최대 6.4배 높은 처리량을 낼 수 있는 것이 강점입니다. Llama, Mistral, LLaVA 등 주요 오픈 모델은 물론 GPT-4 같은 상용 API 모델과도 호환됩니다.

이와 함께 외부 벤치마크 순위도 공개되었습니다. 제3자 평가 플랫폼인 LMSYS Chatbot Arena의 최신 집계에서 대형 Grok-2는 6686표를 바탕으로 1293점을 기록하며 글로벌 2위에 올랐습니다. 이는 구글의 Gemini-1.5 Pro와 동률이며, 최신 ChatGPT-4o 바로 다음이자 지난 5월 버전의 GPT-4o를 앞선 성적입니다. 특히 수학 영역에서는 1위를 기록했습니다. Grok-2 mini 역시 1268점으로 전체 5위에 올랐습니다.

왜 중요한가

월 8달러의 X 구독료를 지불하는 이용자에게 이번 업데이트는 체감 대기 시간을 크게 줄여주는 실질적인 개선입니다. 특히 Grok-2 mini의 속도가 2배 빨라지면서 일상적인 질의응답이나 초안 작성 도구로서의 사용성이 대폭 향상되었습니다. 이미 X 유료 구독을 유지하고 있다면 지금 바로 체감 성능을 시험해볼 만합니다.

기술 산업 관점에서는 오픈소스 인프라의 위력과 xAI 특유의 기동성이 다시 한번 입증된 사례입니다. 일반적인 대기업이라면 수주 이상 걸릴 본방 프로덕션 추론 스택 교체를 엔지니어 두 명이 72시간 만에 해커톤 방식으로 끝마쳤습니다. 우리는 이러한 결정이 오픈소스 생태계의 성숙도를 영리하게 활용한 빠른 판단이라고 봅니다.

다만 이는 Grok-2의 초기 출시 당시 멀티 호스트 추론 인프라가 병목에 시달리고 있었음을 반증하기도 합니다. 오픈소스 도구로 급한 불을 끄고 순위를 끌어올리는 데는 성공했지만, X 플랫폼 내부 기능에 국한된 서비스 환경에서 독립적인 개발자 생태계로 확장하기까지는 여전히 증명해야 할 숙제가 많아 보입니다.