머스크 "Grok 3 사전학습 완료…Grok 2 대비 컴퓨팅 10배 투입"

일론 머스크가 xAI의 차세대 거대언어모델 Grok 3의 사전 학습을 마쳤으며 곧 출시될 예정이라고 1월 4일 X를 통해 밝혔습니다.

머스크에 따르면 Grok 3의 사전 학습에는 이전 버전인 Grok 2보다 무려 10배 많은 연산 자원이 투입되었습니다.

이번 소식은 한 사용자가 4주 동안 Grok을 사용한 뒤 ChatGPT 구독을 취소했다며, Grok의 빠른 속도와 안정성을 칭찬한 게시글을 머스크가 인용하면서 공개되었습니다.

10만 장의 H100 GPU가 투입된 거대 인프라

머스크가 구체적인 세부 사양을 모두 공개하지는 않았지만, 업계에서는 Grok 3의 사전 학습이 xAI의 슈퍼컴퓨터 클러스터인 Colossus에서 진행된 것으로 보고 있습니다.

Colossus는 대규모 AI 모델 개발을 가속하기 위해 엔비디아 H100 GPU 약 10만 장 규모로 구축된 인프라입니다. 이전 세대 대비 10배라는 연산량 수치는 이러한 거대 인프라 가동과 직접적으로 맞물립니다.

여기에 더해 Grok 3는 X 플랫폼 사용자들이 생성한 방대한 실시간 데이터 역시 학습에 적극 활용했습니다.

xAI의 확장은 여기서 멈추지 않습니다. 외신 보도에 따르면 xAI는 향후 몇 달 안에 Colossus를 H100과 H200이 혼합된 20만 장 규모로 확장해 Grok Next 학습에 투입할 계획이며, 장기적으로는 100만 장 이상의 GPU를 갖춘 슈퍼컴퓨터를 배치한다는 구상을 갖고 있습니다.

왜 중요한가

일반 사용자와 개발자 관점에서 Grok 3는 GPT-4급 최상위 모델을 실제로 위협할 수 있을지를 검증하는 무대가 될 것입니다. 특유의 빠른 응답 속도를 유지하면서 복잡한 추론 능력과 정확도를 대폭 끌어올렸다면 매력적인 대안으로 자리잡을 가능성이 큽니다.

산업 측면에서는 xAI의 압도적인 하드웨어 인프라 실행력이 OpenAI, 구글 딥마인드, 앤트로픽 등 선두권 기업들에 상당한 압박으로 작용할 것으로 보입니다. 단기간에 10만 장 규모의 클러스터를 구축하고 모델 사전 학습까지 끝마친 속도는 경쟁사들을 긴장시키기에 충분합니다.

우리는 머스크가 막대한 자본과 연산 자원을 쏟아붓는 가장 직접적인 공학적 방식을 택했다고 봅니다. 다만 연산량을 10배 늘린 물리적 확장이 실제 AGI에 다가서는 심층 추론 능력의 질적 도약으로 이어질지는 지켜봐야 할 대목입니다.