스태빌리티 AI, 기기 내 구동 가능한 3B 모델 '스테이블 LM 3B' 공개

Stable LM 3B는 스태빌리티 AI가 노트북과 휴대용 디지털 기기에서 구동되도록 맞춤 설계한 30억 파라미터 소형 언어 모델입니다. 대규모 클라우드 서버 없이도 로컬 환경에서 가볍게 텍스트 생성을 처리할 수 있습니다.

업계 표준이 7B에서 70B 파라미터에 달하는 상황에서, Stable LM 3B는 크기와 운영 비용을 크게 낮춰 일반 기기에서도 부담 없이 돌아가도록 만들어졌습니다.

어떤 기능을 제공하나

작은 덩치에 비해 성능은 상당히 매섭습니다. 주요 자연어 처리 벤치마크에서 상식 추론과 일반 지식 테스트를 거친 결과, 기존 동급 3B 모델은 물론 일부 오픈소스 7B 모델까지 앞지르는 성적을 냈습니다.

이전 세대 모델보다 문맥 생성 능력이 크게 좋아졌으면서도 빠른 실행 속도를 유지합니다. 창의적인 글쓰기 보조는 물론, 특정 프로그래밍 언어 전용 코딩 비서나 고객 지원 챗봇용으로 미세조정해 쓸 수 있습니다.

전력 소모가 적기 때문에 휴대용 기기나 가정용 PC의 발열과 배터리 부담도 크게 덜어줍니다.

구현 방식과 제한 사항

스태빌리티 AI는 고품질 데이터셋을 사용해 여러 에포크에 걸친 집중 학습을 진행했고, 이를 통해 체급을 뛰어넘는 추론 성능을 확보했습니다.

주의할 점은 이번에 공개된 모델이 실험용 '기본 모델'이라는 점입니다. 대화형 챗봇처럼 즉각 안전하게 쓸 수 있도록 명령 미세조정이나 정렬 작업이 되어 있지 않습니다.

따라서 실제 서비스에 투입하려면 개발자가 용도에 맞게 직접 평가하고 파인튜닝해야 합니다. 지시 튜닝 버전은 현재 안전성 테스트를 거치고 있으며 조만간 출시될 예정입니다.

현재 가중치 파일은 허깅페이스에서 CC-By-SA 4.0 라이선스로 내려받을 수 있습니다.

왜 중요한가

엣지 기기나 로컬 환경에서 가벼운 AI 서비스를 구축하려는 개발자에게 매력적인 선택지입니다. 일반 노트북에서도 손쉽게 파인튜닝을 돌릴 수 있어 진입 장벽이 매우 낮습니다.

고품질 데이터로 잘 깎은 3B 모델이 7B급 성능을 넘볼 수 있음을 증명한 사례로, 앞으로 온디바이스 오픈소스 모델 생태계의 실용성을 한층 끌어올릴 것으로 보입니다.