MS, 소형 언어 모델 '오르카 2' 공개…10배 큰 모델 수준 추론 성능
Microsoft가 소형 언어 모델 '오르카 2'의 가중치를 공개했다. 대형 모델을 단순 모방하는 대신 작업에 맞춰 단계별 추론 등 최적의 전략을 선택하도록 훈련해, 복잡한 제로샷 추론 평가에서 5~10배 큰 모델에 맞먹는 성과를 냈다.
Microsoft가 소형 언어 모델 '오르카 2'의 가중치를 공개했다. 대형 모델을 단순 모방하는 대신 작업에 맞춰 단계별 추론 등 최적의 전략을 선택하도록 훈련해, 복잡한 제로샷 추론 평가에서 5~10배 큰 모델에 맞먹는 성과를 냈다.