MS, 소형 언어 모델 '오르카 2' 공개…10배 큰 모델 수준 추론 성능

Microsoft가 소형 언어 모델 '오르카 2(Orca 2)'를 공개하고 가중치를 외부 연구자들에게 배포했다. 작은 체급의 모델에서 고도화된 추론 역량을 끌어내기 위한 연구 결과물이다.

오르카 2는 복잡한 제로샷 추론 벤치마크에서 동급 모델들을 큰 격차로 따돌렸을 뿐 아니라, 자신보다 5~10배 거대한 모델과 비슷하거나 오히려 앞서는 성능을 기록했다.

무조건적인 대형 모델 흉내내기 탈피

그동안 소형 모델 훈련은 주로 성능 좋은 대형 모델의 답변을 그대로 따라 쓰게 만드는 모방 학습에 의존해 왔다.

하지만 연구진은 이런 과도한 모방이 오히려 작은 모델의 잠재력을 가로막는다고 봤다. 덩치가 큰 모델은 복잡한 문제도 한 번에 곧바로 답할 수 있지만, 작은 모델이 똑같이 흉내 내려 들면 엉뚱한 오답을 내놓기 십상이기 때문이다.

오르카 2의 핵심은 작업 특성에 맞춰 문제 해결 전략을 스스로 골라 쓰도록 배운 점이다.

문제를 단계별로 차근차근 풀어나갈지, 배경 지식을 먼저 떠올린 뒤 답을 도출할지, 혹은 바로 단답을 내놓을지 상황에 맞게 유연한 추론 기법을 선택한다.

15개 벤치마크 평가와 공개 범위

연구진은 약 100개 작업과 3만 6천 개 이상의 프롬프트로 구성된 15개 벤치마크 세트를 활용해 모델을 검증했다.

심층적인 추론을 요하는 제로샷 평가 환경에서 오르카 2는 체급이 5~10배에 달하는 대형 모델에 맞먹는 결과를 보였다.

Microsoft는 소형 모델의 정렬과 평가, 후속 연구를 지원하기 위해 오르카 2의 가중치를 누구나 받아볼 수 있도록 공개했다.

왜 중요한가

로컬 기기 구동이나 서빙 비용 절감을 고민하는 엔지니어라면 오르카 2를 직접 내려받아 테스트해 볼 가치가 충분하다. 비싼 GPU 클러스터를 무리하게 대여하지 않아도 준수한 추론 성능을 확보할 수 있어서다.

거대 모델의 겉모습만 베끼는 방식에서 벗어나 작은 체급에 맞는 사고 과정을 심어준 연구팀의 접근법은 매우 영리하며, 앞으로 소형 특화 모델을 훈련하는 기본 공식으로 자리 잡을 가능성이 높다.