MS, 13B 모델 '오르카' 공개: GPT-4 추론 과정 모방해 ChatGPT급 성능
마이크로소프트 연구소가 130억 파라미터 규모의 오픈소스 모델 '오르카(Orca)'를 공개했다. GPT-4의 단계별 추론 과정을 모방 학습해 BBH 벤치마크에서 ChatGPT와 대등한 추론 능력을 기록했다. 대규모 데이터센터 없이도 소형 모델이 뛰어난 논리력을 갖출 수 있음을 보여준다.
Vicuna
스태빌리티 AI, 첫 오픈소스 RLHF 챗봇 '스테이블비쿠냐' 공개
스태빌리티 AI가 인간 피드백 기반 강화학습(RLHF)을 적용한 최초의 대규모 오픈소스 챗봇 모델 'StableVicuna-13B'를 공개했다. Vicuna-13B 기반에 trlX와 Anthropic 등의 공개 선호도 데이터셋을 활용해 PPO 훈련을 마쳤다. 폐쇄형 모델의 전유물이던 RLHF 전 과정을 오픈소스 생태계로 끌고 온 점이 핵심이다. Hugging Face에서 가중치 델타를 내려받을 수 있다.