스테이빌리티 AI, 오픈소스 언어 모델 'Stable LM' 공개… 로컬 구동 지원

Stable LM은 스테이빌리티 AI가 공개한 오픈소스 경량 대형 언어 모델 패키지다. 대형 클라우드 인프라 없이도 개인용 하드웨어나 엣지 기기에서 직접 구동하며 텍스트와 코드를 생성할 수 있도록 만들어졌다.

이번 알파 버전에서는 30억(3B) 및 70억(7B) 파라미터 크기 두 가지가 먼저 출시되었으며, 추후 150억에서 650억 파라미터 모델도 순차 공개될 예정이다.

어떻게 만들어졌나

작은 모델 크기에도 불구하고 일정 수준 이상의 성능을 내는 비결은 대규모 학습 데이터에 있다.

비영리 연구 단체 EleutherAI의 The Pile을 기반으로 자체 확장한 실험용 데이터셋을 사용했으며, 기존 The Pile 대비 3배 규모인 1.5조 토큰 분량을 학습에 투입했다. 구체적인 데이터셋 세부 정보는 추후 공개된다.

스테이빌리티 AI는 앞서 EleutherAI와 함께 GPT-J, GPT-NeoX, Pythia 제품군 오픈소스 프로젝트를 주도해 왔으며, 최근 등장한 Cerebras-GPT와 Dolly-2 역시 이러한 성과 위에서 탄생했다. Stable LM은 해당 노하우를 집약한 결과물이다.

기본 모델 외에 대화형 연구 모델도 함께 출시됐다. 이 모델은 Alpaca, GPT4All, Dolly, ShareGPT, HH 등 5가지 최신 오픈소스 대화형 데이터셋을 결합해 미세조정(Fine-tuning)을 거쳤다.

사양과 라이선스, 구동 방법

라이선스는 모델 용도에 따라 나뉜다.

기본 모델은 CC BY-SA-4.0 라이선스를 적용받아 상업적 목적이나 연구 목적으로 자유롭게 검토, 수정, 배포할 수 있다. 민감한 내부 데이터를 외부 API로 보낼 필요 없이 자체 애플리케이션을 구축할 수 있는 구조다.

반면 미세조정된 대화형 모델은 스탠퍼드 Alpaca 라이선스 기준에 맞춰 비상업적 연구 목적인 CC BY-NC-SA 4.0 라이선스로 제한된다.

1750억 파라미터에 달하는 GPT-3와 비교해 3B 및 7B는 용량이 매우 가벼워 일반 소비자용 하드웨어에서도 로컬 구동이 가능하다.

현재 전체 코드와 가중치는 스테이빌리티 AI 공식 깃허브(GitHub) 저장소에서 내려받을 수 있다. 향후 기술 보고서 발간과 크라우드소싱 기반 RLHF 프로그램, Open Assistant 커뮤니티와의 협업도 예정되어 있다.

왜 중요한가

데이터 프라이버시가 중요한 독립 개발자나 로컬 환경에서 가벼운 텍스트·코드 보조 도구를 구축하려는 사람이라면 즉시 테스트해 볼 만하다. 독점적 빅테크 API 종속에서 벗어나 독립적인 로컬 AI 파이프라인을 구축할 수 있는 현실적인 대안이기 때문이다.

기존 소형 모델 대비 1.5조 토큰이라는 풍부한 학습량과 상업적 이용이 열려 있는 기본 라이선스는 분명한 강점이다. 다만 모델 체급이 작은 만큼 복잡한 다단계 추론이나 고난도 코딩 작업에서는 명확한 한계가 존재하므로, 실무에 적용하려면 특정 도메인 데이터로 추가 미세조정을 거치는 방식을 권장한다.