MS, 27억 파라미터 소형 모델 Phi-2 공개… 25배 큰 모델 능가

모두가 모델 덩치를 수백억, 수천억 단위로 키우는 데 집중할 때 마이크로소프트 연구소가 27억 개 매개변수짜리 소형 모델로 판을 흔들었습니다.

마이크로소프트 연구소는 새로운 소형 언어 모델(SLM)인 Phi-2를 공개했습니다. 매개변수가 2.7B에 불과하지만, 복잡한 추론 벤치마크에서는 자신보다 최대 25배나 큰 모델들을 뛰어넘는 결과를 보였습니다.

A100 96대로 14일 만에 완성

보통 대형 모델을 훈련하려면 수천 대의 GPU가 필요하지만, Phi-2는 A100 GPU 96대만을 사용해 단 14일 만에 훈련을 마쳤습니다.

학습 데이터는 1.4조 개 토큰 규모였습니다. 마이크로소프트는 무작정 웹 데이터를 긁어모으는 대신 자체 제작한 고품질 합성 데이터와 엄격하게 선별한 교육용 웹 데이터만 골라 담았습니다. 상식 추론, 과학 지식 등을 교과서 수준으로 정제해 모델에 가르친 셈입니다.

여기에 기술적인 묘수도 더했습니다. 처음부터 2.7B를 전부 새로 학습시킨 것이 아니라, 기존 1.3B 모델인 Phi-1.5의 지식을 이전받아 확장하는 방식을 택해 학습 속도를 끌어올리고 성능을 높였습니다.

70B 모델을 앞선 코드 추론 능력

성능 지표를 보면 13B 이하 기본 모델 중에서는 단연 독보적입니다. Mistral-7B나 Llama-2-13B를 전반적인 추론 지표에서 여유 있게 앞질렀습니다.

특히 다단계 추론이 필요한 영역에서 파변이 컸습니다. 코딩 테스트에서 Phi-2는 53.7점을 기록해 70B 매개변수의 거대 모델인 Llama-2-70B(38.3점)를 압도했습니다. 수학 문제 해결에서도 61.1점을 기록해 70B 모델(64.1점) 턱밑까지 따라붙었습니다.

구글이 최근 공개한 온디바이스 모델인 Gemini Nano 2(3.2B)와 비교해도 그렇습니다. Big Bench Hard 테스트에서 59.3점을 기록해 Nano 2의 42.4점을 크게 앞섰습니다.

흥미로운 점은 Phi-2가 인간 피드백 강화학습(RLHF)이나 명령어 미세조정을 전혀 거치지 않은 순수 베이스 모델이라는 점입니다. 그럼에도 훈련 데이터가 워낙 깨끗한 덕분에 얼라인먼트를 거친 다른 오픈소스 모델들보다 유해성이나 편향이 덜한 모습을 보였습니다. 현재 Azure AI Studio 모델 카탈로그를 통해 연구용으로 제공되고 있습니다.

왜 중요한가

우리는 Phi-2가 무조건 모델 크기만 키우던 스케일링 법칙의 맹점을 제대로 찔렀다고 봅니다. 로컬 기기나 저사양 환경에서 고난도 추론 모델을 돌리고 싶었던 온디바이스 개발자들에게는 지금 당장 검토해 볼 만한 매력적인 대안이 등장한 셈입니다.

업계 전반에도 큰 자극제입니다. 막대한 연산 자원으로 웹상의 저품질 데이터를 밀어 넣는 방식보다, 정교한 합성 데이터와 체계적인 지식 확장이 훨씬 경제적이라는 것을 입증했습니다. 경쟁사들 역시 데이터 정제 기술에 투자를 늘릴 수밖에 없습니다.

다만 한계도 분명합니다. 교과서식 합성 데이터로 학습한 모델은 시험 점수는 잘 나오지만, 실제 예측 불가능한 사용자 환경에서 동일한 추론 능력을 유지할지는 미지수입니다. 게다가 지시어 튜닝이 안 된 베이스 모델이라 실무 서비스에 붙이려면 추가 튜닝 공수가 듭니다. 그럼에도 소형 모델의 추론 잠재력을 여기까지 끌어올렸다는 점 하나만으로도 주목할 가치는 충분합니다.