xAI, 대형 언어 모델 'Grok-1' 가중치 및 아키텍처 오픈소스 공개

xAI가 대형 언어 모델 'Grok-1'의 베이스 가중치와 네트워크 아키텍처를 Apache 2.0 라이선스로 오픈소스 공개했습니다.

이번에 공개된 파일은 2023년 10월 사전 훈련을 마친 원본 체크포인트입니다. 대화형 챗봇 같은 특정 작업에 맞춘 파인튜닝을 거치지 않은 순수 베이스 모델입니다.

모델 스펙과 작동 구조

Grok-1은 3140억 개의 파라미터를 가진 전문가 혼합(MoE) 구조로 설계되었습니다. 총 8개의 전문가 중 토큰 하나당 2개의 전문가를 활성화해 계산을 수행합니다.

네트워크는 64개 레이어로 구성되어 있으며 임베딩 크기는 6144입니다. 어텐션 헤드는 쿼리 48개와 키·값 8개로 나뉘며, 최대 컨텍스트 길이는 8192 토큰입니다.

토크나이저는 131072 크기의 어휘를 가진 SentencePiece를 사용하고, 회전 위치 임베딩(RoPE), 액티베이션 샤딩, 8비트 양자화 기능을 지원합니다.

실행 방법과 하드웨어 요구 사항

xAI는 공식 GitHub 저장소에 JAX 기반의 모델 로드 및 테스트 샘플링 예제 코드를 함께 제공했습니다.

파라미터 규모가 3140억 개에 달하는 만큼, 예제 코드를 구동해보는 것만으로도 막대한 양의 GPU VRAM을 갖춘 전용 장비가 필요합니다. 또한 xAI는 커스텀 커널 없이 모델의 정확성을 검증하는 데 집중했기 때문에 현재 저장소의 MoE 레이어 구현 속도가 최적화되어 있지 않다고 밝혔습니다.

가중치는 제공된 토렌트 마그넷 링크를 통해 내려받거나, Hugging Face Hub 도구를 사용해 ckpt-0 체크포인트를 직접 클론할 수 있습니다.

필수 패키지를 설치하고 체크포인트를 경로에 배치한 뒤 run.py를 실행하면 테스트 프롬프트로 추론 샘플을 뽑아볼 수 있습니다.

왜 중요한가

이 모델은 현재 일반 개발자가 가볍게 띄워볼 수 있는 수준이 아니며, 대규모 연산 자원을 보유한 인프라 기업이나 연구팀에 적합합니다.

하지만 3140억 파라미터급 MoE 모델의 원본 가중치가 상용 가능한 Apache 2.0 라이선스로 풀렸다는 점은 매우 주목할 만합니다. 앞으로 오픈소스 진영에서 이를 기반으로 경량화 양자화 버전이나 최적화된 추론 커널, 대화용 미세조정 모델을 빠르게 내놓을 것으로 보입니다.