스태빌리티 AI, 첫 오픈소스 RLHF 챗봇 '스테이블비쿠냐' 공개

StableVicuna-13B는 오픈소스 커뮤니티 최초로 인간 피드백 기반 강화학습(RLHF) 전체 파이프라인을 거쳐 제작된 대규모 대화형 AI 모델입니다. 로컬 머신이나 자체 서버에서 구동할 수 있는 챗봇으로, 기초 수학 연산, 코드 작성, 문법 교정 등 일상적인 작업을 인간의 선호에 맞춰 더 자연스럽게 수행합니다.

무엇을 할 수 있고 어떻게 만들었나

기존 오픈소스 대화 모델들은 RLHF의 높은 기술적 복잡도 탓에 대부분 지도형 명령어 미세조정(SFT) 단계에 머물러 있었습니다. StableVicuna-13B는 LLaMA-13B 기반의 Vicuna-13B 모델을 바탕으로 전형적인 3단계 RLHF 파이프라인을 밟았습니다.

첫 번째 단계는 추가 지도 미세조정이었습니다. 35개 언어, 16만 1443개 메시지로 구성된 OpenAssistant(OASST1), 43만 7605개 프롬프트가 담긴 GPT4All, 5만 2000개 지침이 포함된 Alpaca 데이터셋을 결합해 모델을 훈련했습니다.

두 번째 단계는 보상 모델 구축입니다. 오픈소스 라이브러리인 trlX를 활용해 SFT 모델을 보상 모델로 초기화한 뒤, OASST1의 선호도 샘플 7213개, Anthropic HH-RLHF의 유용성 및 무해성 라벨 16만 800개, 스탠퍼드 인간 선호도 데이터셋(SHP)의 34만 8718개 선호도 데이터를 학습시켰습니다.

마지막 단계에서는 trlX 프레임워크 기반의 PPO(근접 정책 최적화) 알고리즘을 사용해 보상 모델의 피드백을 반영한 강화학습 미세조정을 완료했습니다.

구하는 방법과 실행 환경

기반 모델인 초기 LLaMA의 라이선스 제약으로 인해 StableVicuna-13B는 완성된 단일 모델 가중치 대신 Hugging Face Hub에서 가중치 델타(weight delta) 형태로 배포됩니다.

로컬에서 실행하려면 먼저 Meta를 통해 공식 LLaMA-13B 가중치를 확보한 후, 공식 GitHub 리포지토리에 제공되는 병합 스크립트를 실행해 델타 가중치와 원본을 합쳐야 합니다. 직접 설치하지 않고 성능을 확인해보고 싶은 사용자는 Hugging Face Spaces에 마련된 Gradio 데모를 이용할 수 있으며, 향후 공식 Discord 서버에도 봇이 배포될 예정입니다.

왜 중요한가

StableVicuna는 소수 폐쇄형 빅테크 기업의 전유물로 여겨지던 RLHF 정렬 기법을 오픈소스 생태계로 전면 끌어내렸다는 점에서 상징성이 큽니다. trlX 같은 오픈소스 도구와 공개 선호도 데이터셋을 엮어 작동 가능한 RLHF 파이프라인을 실제로 구현해 냈습니다.

오픈소스 모델의 답변 품질과 안전성을 다듬고자 하는 개발자나 연구자에게는 훌륭한 실전 레퍼런스가 될 수 있습니다. 다만 일반 사용자 입장에서는 원본 가중치 신청과 병합 과정의 진입장벽이 존재하므로, 당장은 웹 데모를 통해 성능을 가늠해보는 접근을 추천합니다.