MS, 13B 모델 '오르카' 공개: GPT-4 추론 과정 모방해 ChatGPT급 성능

오르카(Orca)는 마이크로소프트 연구소가 공개한 130억 파라미터(13B) 규모의 소형 AI 모델입니다. 거대한 데이터센터 클러스터 없이도 로컬 환경이나 단일 서버에서 대형 모델에 근접한 논리 추론을 수행하도록 돕습니다.

기존의 가벼운 모델들은 대형 모델의 겉포장인 최종 답변만 흉내 내다 보니 다단계 논리 문제에서 쉽게 무너졌습니다. 오르카는 바로 이 한계를 깨기 위해 나왔습니다.

GPT-4의 추론 과정을 그대로 학습하다

오르카는 오픈소스 모델인 비쿠냐(Vicuna)를 기반으로 제작되었습니다.

마이크로소프트는 단순한 질문과 답변 쌍을 주입하는 대신, 1조 개 이상의 파라미터를 지닌 것으로 알려진 GPT-4가 문제를 해결할 때 내놓는 단계별 사고 과정과 상세한 설명을 대규모로 수집해 학습시켰습니다.

정답만 달달 외우게 한 것이 아니라, 상위 모델의 풀이 과정을 옆에서 그대로 보고 체득하게 만든 셈입니다.

성능 벤치마크와 구동 사양

논문에 따르면, 복잡한 제로샷 추론을 평가하는 BBH(Big-Bench Hard) 벤치마크에서 오르카는 비쿠냐 대비 100% 향상된 점수를 기록하며 ChatGPT와 대등한 수준을 보였습니다.

또한 AGIEval 벤치마크에서는 기존 AI 모델 대비 42% 더 빠른 속도를 냈습니다. SAT, LSAT, GRE, GMAT 같은 학술 시험에서도 상당한 경쟁력을 입증했으나, GPT-4 본체와의 성능 격차는 여전히 존재합니다.

13B라는 가벼운 체급 덕분에 값비싼 인프라 없이도 연구자가 자체 하드웨어에서 독립적으로 모델을 최적화하고 구동할 수 있습니다.

왜 중요한가

오르카는 소형 모델의 증류 학습 방식을 한 단계 끌어올렸다는 점에서 의미가 큽니다. 말솜씨만 흉내 내던 기존 오픈소스 경량 모델의 한계를 벗어나, 사고의 흐름 자체를 전수받아 단단한 추론 기초 체력을 확보할 수 있음을 증명했습니다.

클라우드 API 비용을 아끼고 내부 데이터를 외부로 보내지 않으면서 실질적인 논리 작업을 돌려야 하는 개발자들에게 매우 실용적인 기준점을 제시해 줍니다.