메타, 온디바이스 언어모델 MobileLLM 공개: 3.5억 파라미터로 70억 LLaMA-2에 필적

MobileLLM은 스마트폰과 같은 저사양 기기에서 구동되도록 메타가 설계한 10억 파라미터 미만의 초경량 언어모델 아키텍처입니다.

메타 리얼리티 랩스, 파이토치, FAIR 연구진이 공동 개발했으며, 클라우드 연결 없이 기기 내부에서 실용적인 AI 작업을 처리하는 데 초점을 맞췄습니다.

무엇을 할 수 있는가

10억 미만의 극소형 파라미터 크기에도 불구하고, 기존 동급 크기 모델 대비 벤치마크 테스트에서 2.7%에서 4.3% 높은 성능을 기록했습니다.

가장 눈에 띄는 부분은 도구 활용 능력입니다. 3.5억 파라미터 버전의 MobileLLM은 특정 API 호출 작업에서 파라미터가 20배에 달하는 70억 크기의 LLaMA-2와 맞먹는 정확도를 보였습니다.

일정 등록, 기기 설정 변경, 메시지 전송 같은 스마트폰 내부 작업을 외부 서버로 데이터를 보내지 않고도 안정적으로 처리할 수 있음을 보여줍니다.

어떻게 구현했는가

연구팀은 단순히 모델을 축소하는 대신, 작은 크기에서도 표현력을 유지하도록 구조를 바꿨습니다.

핵심은 폭보다 깊이를 우선한 네트워크 설계입니다. 층을 얇게 펴는 대신 깊게 쌓아 모델의 추론 능력을 유지했습니다.

여기에 임베딩 공유와 그룹 쿼리 어텐션(GQA)을 적용해 효율을 높였습니다.

메타의 수석 AI 과학자 얀 르쿤은 X를 통해 블록 단위 즉시 가중치 공유 기술을 핵심으로 꼽았습니다. 인접한 레이어끼리 가중치를 공유해 메모리 사용량을 대폭 줄이면서 지연 시간을 최소화했습니다.

공개 범위와 사용 방법

일반 사용자를 위한 완성형 앱 형태로 바로 배포된 것은 아닙니다.

메타는 사전 학습 코드를 오픈소스로 공개해 다른 연구자와 개발자가 해당 아키텍처를 검증하고 직접 모델을 훈련할 수 있게 했습니다.

온디바이스 환경을 연구하는 개발자라면 공개된 코드베이스를 내려받아 자체 데이터셋을 활용한 실험을 시작할 수 있습니다.

왜 중요한가

온디바이스 서비스나 임베디드 기능을 만드는 개발자라면 반드시 살펴볼 만한 결과입니다. 일상적인 명령 수행과 API 호출 수준의 작업에는 7B 이상의 거대 모델이 굳이 필요하지 않다는 점을 3.5억 파라미터로 증명했습니다.

기존 거대 모델을 무작정 가지치기하는 방식보다, 하드웨어 제약에 맞춰 처음부터 깊고 가볍게 설계하는 방식이 훨씬 현실적입니다. 좁은 온디바이스 메모리 안에서 단일 작업을 끝까지 밀어붙이는 훌륭한 해법으로 보입니다.