Stability AI, 오픈소스 1위 달성한 'Stable Beluga' 모델 공개

Stable Beluga 1과 Stable Beluga 2는 Stability AI와 산하 CarperAI 연구소가 공개한 오픈 액세스 대규모 언어 모델입니다. 복잡한 논리 추론과 언어적 뉘앙스 이해에 뛰어나며, 법률이나 수학 같은 전문 분야의 까다로운 질의응답도 능숙하게 수행합니다.

개발 초기 내부 코드명은 마이크로소프트의 Orca 논문에서 착안한 'FreeWilly'였으나, 이후 'Stable Beluga(흰고래)'로 이름을 바꿨습니다. 사나운 범고래(Orca)보다 온순한 흰고래처럼 무해성에 초점을 맞췄으며, 내부 레드팀 테스트를 거쳐 안전성을 강화했다는 설명입니다.

10% 수준의 합성 데이터로 이뤄낸 성과

Stable Beluga의 핵심 경쟁력은 극대화된 데이터 효율성에 있습니다. 훈련 방식은 GPT-4의 추론 과정을 단계적으로 모방하는 마이크로소프트의 Orca 방법론에서 직접적인 영감을 받았지만, 데이터 구성은 새롭게 재설계했습니다.

연구진은 대규모 데이터를 무작정 긁어모으는 대신, Enrico Shippole이 제작한 고품질 인스트럭션을 기반으로 약 60만 건의 합성 데이터를 생성했습니다. 이는 기존 Orca 논문에서 사용된 데이터셋 규모의 약 10%에 불과합니다.

또한 공정한 성능 검증을 위해 ARC-Challenge를 비롯한 주요 벤치마크 평가 데이터와 겹치는 샘플을 엄격하게 필터링했습니다. 표본 크기를 10분의 1로 대폭 줄였음에도 추론 성능을 극대화하면서, 훈련 비용과 탄소 배출량을 크게 줄였습니다.

리더보드 1위 달성과 하드웨어 요구 사항

이러한 소량 정예 데이터 훈련은 즉각적인 성능 지표로 증명되었습니다. EleutherAI의 평가 프레임워크와 AGIEval, GPT4ALL 등 제로샷 벤치마크 전반에서 뛰어난 성적을 기록했습니다.

Hugging Face가 자체 검증해 7월 27일 공개한 'Open LLM Leaderboard'에서 LLaMA 2 70B 기반의 Stable Beluga 2는 전체 1위를 차지했습니다. 1세대 LLaMA 65B 기반의 Stable Beluga 1 역시 4위에 올랐습니다.

스펙과 공개 방식을 살펴보면, Stable Beluga 2는 70B 파라미터 모델로 Hugging Face에 모델 가중치가 온전히 공개되었습니다. 로컬 머신에서 구동하려면 대용량 VRAM을 갖춘 전문 GPU 환경이나 고강도 양자화 설정이 필수적입니다.

반면 LLaMA 65B를 Alpaca 포맷으로 미세조정한 Stable Beluga 1은 라이선스 제한으로 인해 기본 모델에 덧씌우는 델타 가중치 형태로 배포됩니다.

두 모델 모두 비상업적 연구 라이선스인 'Stable Beluga Research License'로 공개되어 상업적 서비스 배포는 제한되며 학술 및 연구 목적으로만 사용할 수 있습니다.

왜 중요한가

Stable Beluga는 거대 언어 모델 훈련에서 무작정 데이터 양을 늘리는 것보다 정제된 합성 데이터의 품질이 훨씬 결정적이라는 점을 보여줍니다. 60만 건이라는 비교적 적은 데이터셋만으로도 70B 오픈소스 기반 모델을 단숨에 세계 최고 수준으로 끌어올릴 수 있음을 입증했습니다.

다만 비상업적 라이선스로 묶여 있고 70B 크기로 인해 로컬 실행 장벽이 높다는 점은 실용성 측면의 한계입니다. 연구자라면 Hugging Face에서 가중치를 내려받아 최신 오픈소스 추론 능력을 직접 테스트해볼 만하지만, 상용 서비스를 구상 중인 개발자라면 모델 자체를 쓰기보다는 이들이 사용한 데이터 정제 및 합성 미세조정 기법을 참고하는 것이 바람직합니다.