스노우플레이크, 기업용 오픈소스 LLM '아크틱' 공개

스노우플레이크가 기업용 데이터베이스 작업과 SQL 생성에 특화된 오픈소스 대형 언어 모델 'Arctic LLM'을 출시했습니다. 연구 및 상업적 사용이 자유로운 Apache 2.0 라이선스로 배포됩니다.

시를 쓰거나 일반적인 잡담을 나누는 용도가 아니라, 엔터프라이즈 환경에서 데이터와 대화하고 코드를 작성하는 실제 업무 처리를 정조준했습니다.

구조와 성능

Arctic은 128개의 전문가 하위 모델을 둔 MoE(혼합 전문가) 아키텍처를 기반으로 합니다. 전체 파라미터 수는 4800억 개(480B)에 달하지만, 추론 시에는 이 중 170억 개(17B)만 활성화되어 동작합니다.

이러한 구조 덕분에 훈련 비용을 크게 낮췄습니다. RefinedWeb, C4, RedPajama, StarCoder 등 공개 데이터셋을 기반으로 약 1000대의 GPU를 투입해 3개월 동안 약 200만 달러를 들여 훈련했습니다. 스노우플레이크는 유사 모델 대비 훈련 비용이 8분의 1 수준이라고 밝혔습니다.

성능 면에서 스노우플레이크는 SQL 쿼리 생성과 기업용 코딩 영역에서 데이터브릭스의 DBRX를 앞섰다고 발표했습니다. 메타의 Llama 2 70B와 미스트랄의 Mixtral-8x7B보다 우수하지만, 최근 출시된 Llama 3 70B에는 미치지 못합니다. MMLU 벤치마크에서도 우수한 점수를 기록했습니다.

하드웨어 요구 사항과 한계

완전한 오픈소스 모델이지만 로컬 PC나 단일 그래픽카드에서 가볍게 띄울 수 있는 도구는 아닙니다. 모델을 자체 호스팅하거나 파인튜닝하려면 약 8대의 엔터프라이즈급 GPU가 필요합니다.

컨텍스트 윈도우도 다소 제한적입니다. 파인튜닝 방식에 따라 약 8,000단어에서 24,000단어 수준을 지원하는데, 이는 Gemini 1.5 Pro나 Claude 3 Opus 같은 최신 모델에 비해 짧아 긴 대화 맥락을 놓치거나 환각을 일으킬 가능성이 있습니다.

현재 모델 가중치와 코드 템플릿은 Hugging Face, Microsoft Azure, Together AI, Lamini 등에 공개되어 있으며, 스노우플레이크의 Cortex 플랫폼에서도 공식 호스팅을 지원합니다.

왜 중요한가

사내 데이터베이스를 자연어로 조회하는 SQL 코파일럿을 구축하려는 기업에게 특정 독점 API에 종속되지 않는 강력한 상업용 오픈소스 대안이 생겼습니다.

하지만 480B 규모와 최소 8장의 GPU라는 인프라 장벽 때문에 일반 개발자가 직접 운영하기는 까다롭습니다. 결국 스노우플레이크의 자체 클라우드 플랫폼인 Cortex로 기업 고객을 유인하기 위한 전략적 모델에 가까우며, 자체 인프라가 없는 팀이라면 관리형 호스팅을 이용하는 편이 합리적입니다.