스태빌리티 AI, 첫 일본어 특화 모델 'Japanese StableLM' 오픈소스 공개

Japanese StableLM Alpha는 Stability AI가 선보인 70억 파라미터(7B) 규모의 일본어 특화 대형 언어 모델입니다. 로컬 환경에서 구동 가능하고 상용화까지 고려할 수 있는 일본어 오픈소스 모델을 찾고 있다면 가장 주목해야 할 도구입니다.

이번 배포는 텍스트 생성을 위한 기본 모델인 Japanese StableLM Base Alpha 7B와 사용자 지시 수행을 학습한 Japanese StableLM Instruct Alpha 7B 두 가지 버전으로 나뉩니다.

아키텍처와 벤치마크 성능

학습 환경은 EleutherAI의 GPT-NeoX를 확장해 구축되었으며, SwiGLU 및 xPos 같은 최신 아키텍처 기술이 적용되었습니다. 총 학습량은 에포크 전반에 걸쳐 7,500억 개 토큰에 달합니다.

학습 데이터는 웹에서 수집한 대규모 텍스트 중 일본어와 영어가 주를 이루며, 약 2%의 소스 코드가 포함되었습니다. 일반 공개 데이터셋 외에도 Stability AI Japan과 EleutherAI Polyglot 프로젝트 일본 팀, 현지 커뮤니티가 직접 협력해 제작한 데이터셋이 대거 투입되었습니다.

EleutherAI의 lm-evaluation-harness를 기반으로 문장 분류, 질의응답, 요약 등 8가지 과제를 평가한 결과, Instruct 모델은 평균 54.71점을 기록했습니다. 이는 벤치마크를 함께 진행한 다른 4종의 일본어 오픈 모델을 큰 폭으로 앞서는 수치입니다.

라이선스 차이와 사용법

현재 두 모델 모두 Hugging Face Hub에 등록되어 있어 즉시 다운로드하여 추론 및 추가 파인튜닝을 진행할 수 있습니다.

주의해야 할 점은 라이선스 정책입니다. Base 모델은 상용 이용이 자유로운 Apache License 2.0 라이선스로 배포되어 기업 솔루션이나 서비스 개발에 즉시 활용할 수 있습니다.

반면 성능이 더 뛰어난 Instruct 모델은 연구 목적으로만 한정 배포되어 상업적 사용이 제한됩니다. 상용 챗봇이나 어시스턴트를 구축하려는 개발자라면 Base 모델을 내려받아 자체 지시 데이터셋으로 지도 미세조정(SFT)을 거쳐야 합니다.

왜 중요한가

비영어권, 특히 일본어 영역에서는 고성능 7B급 오픈소스 파운데이션 모델이 드물었던 만큼 로컬 배포를 원하는 개발자들에게 훌륭한 대안이 생겼습니다.

Instruct 버전의 상용 제한은 다소 아쉽지만, Apache 2.0으로 풀린 Base 모델만으로도 프라이빗 환경에서 일본어 AI 서비스를 구축하기에 충분한 경쟁력을 제공합니다. 일본어 텍스트 처리가 필요한 프로젝트라면 지금 테스트해볼 만합니다.