메타, 온디바이스 언어모델 MobileLLM 공개: 3.5억 파라미터로 70억 LLaMA-2에 필적
메타가 스마트폰 등 온디바이스 환경을 겨냥한 10억 파라미터 미만 소형 언어모델 설계 MobileLLM을 공개했다. 모델 깊이 우선 설계와 가중치 공유를 통해 3.5억 파라미터 버전이 특정 API 호출 작업에서 70억 파라미터의 LLaMA-2와 맞먹는 성능을 보였다. 현재 사전 학습 코드가 오픈소스로 제공된다.
메타가 스마트폰 등 온디바이스 환경을 겨냥한 10억 파라미터 미만 소형 언어모델 설계 MobileLLM을 공개했다. 모델 깊이 우선 설계와 가중치 공유를 통해 3.5억 파라미터 버전이 특정 API 호출 작업에서 70억 파라미터의 LLaMA-2와 맞먹는 성능을 보였다. 현재 사전 학습 코드가 오픈소스로 제공된다.