Meta, 1B 미만 온디바이스 추론 모델 'MobileLLM-R1' 공개

Meta가 Hugging Face에 온디바이스 추론 모델 제품군 'MobileLLM-R1'을 공개했습니다. 매개변수 규모는 140M에서 950M 사이로, 스마트폰이나 엣지 기기에서 수학, 코딩, 과학적 추론을 처리하도록 설계되었습니다.

일반적인 범용 대화 챗봇과 달리, 잡담을 덜어내고 제한된 연산 자원을 정밀한 논리 추론에 집중했습니다. 베이스 모델과 사후 학습을 거친 지시 튜닝 모델 모두 Hugging Face에서 바로 내려받을 수 있습니다.

가벼우면서도 똑똑한 아키텍처 설계

1B 미만 크기에서 고난도 추론 능력을 확보하기 위해, 가장 큰 모델인 MobileLLM-R1-950M에는 세밀한 구조 최적화가 적용되었습니다.

이 모델은 22개 트랜스포머 레이어로 구성되며 은닉층 차원은 6144입니다. 24개 어텐션 헤드와 6개 KV 헤드로 이루어진 Grouped-Query Attention(GQA)을 적용해 메모리 대역폭과 연산 부담을 크게 줄였습니다.

지연 시간을 늘리지 않으면서 매개변수를 줄이기 위해 블록 단위 가중치 공유(Block-wise weight sharing) 방식을 채택했고, SwiGLU 활성화 함수로 표현력을 끌어올렸습니다. 어휘 크기는 128K이며 입출력 임베딩을 공유합니다. 컨텍스트 길이는 기본 4K, 사후 학습 버전은 32K를 지원합니다.

특히 학습 데이터 효율이 눈에 띕니다. 전체 학습에 사용된 토큰은 약 4.2T에 불과합니다. 36T 토큰을 학습한 Qwen3-0.6B와 비교하면 12%도 안 되는 데이터만 쓰고도 대등하거나 앞서는 성능을 냈습니다.

벤치마크 결과와 뚜렷한 한계

벤치마크 테스트에서 950M 모델은 체급을 뛰어넘는 성적을 기록했습니다.

MATH500 벤치마크에서 74.0점을 기록해 Olmo-1.24B(19.2)보다 약 5배, SmolLM2-1.7B(19.2)보다 약 2배 높은 정확도를 보였습니다. 이는 Qwen3-0.6B(73.0)보다도 앞선 수치입니다.

코딩 능력을 측정하는 LiveCodeBench에서도 19.9점을 기록해 Qwen3-0.6B의 14.9점을 넘어섰으며, AIME'24와 AIME'25에서는 각각 15.5점과 16.3점을 얻었습니다.

하지만 트레이드오프도 뚜렷합니다. 구조화된 추론에 치중한 탓에 일상 대화나 상식, 창작 영역에서는 힘을 쓰지 못합니다. GSM8K 점수는 67.5점으로 Qwen3-0.6B의 79.2점에 미치지 못했습니다.

또한 32K 컨텍스트를 기기에서 온전히 쓸 경우 KV 캐시로 인한 메모리 점유율이 급격히 증가합니다. 가장 큰 걸림돌은 라이선스로, FAIR NC(비상업적) 라이선스가 적용되어 현재로서는 상용 서비스에 탑재할 수 없습니다.

로컬 기기나 임베디드 장비에서 테스트해보고 싶다면 지금 Hugging Face에서 MobileLLM-R1 가중치를 다운로드할 수 있습니다.

왜 중요한가

MobileLLM-R1은 온디바이스 AI에서 추론을 구현할 때 무작정 파라미터를 키우거나 데이터를 수십 테라씩 쏟아붓지 않아도 된다는 점을 입증했습니다. 정교한 아키텍처와 압축적인 고품질 데이터만으로도 1B 미만 모델이 수학과 코딩을 풀어낼 수 있음을 보여줍니다.

로컬 환경에서 동작하는 개발자용 코딩 보조 도구나 교육용 수식 풀이기를 연구하는 분들에게는 매우 유용한 실험 대상입니다. 다만 비상업적 라이선스 제한이 명확한 만큼, 실제 제품에 도입하기보다는 최신 온디바이스 추론 모델의 레퍼런스로 참고하기에 적합해 보입니다.