MS, 27억 파라미터 소형 모델 Phi-2 공개… 25배 큰 모델 능가
Microsoft가 27억 파라미터 언어 모델 Phi-2를 공개했다. 교과서 수준의 고품질 데이터와 지식 전수를 바탕으로 코딩과 수학 등 다단계 추론에서 25배 큰 Llama-2-70B를 앞선다. 데이터 선별만으로 소형 모델에서도 강력한 창발적 능력을 구현할 수 있음을 보여준다.
Microsoft가 27억 파라미터 언어 모델 Phi-2를 공개했다. 교과서 수준의 고품질 데이터와 지식 전수를 바탕으로 코딩과 수학 등 다단계 추론에서 25배 큰 Llama-2-70B를 앞선다. 데이터 선별만으로 소형 모델에서도 강력한 창발적 능력을 구현할 수 있음을 보여준다.