Metaが軽量推論モデル「MobileLLM-R1」公開：1B未満で数学性能が最大5倍

Metaがエッジ端末向けの軽量推論モデル群「MobileLLM-R1」をHugging Faceで公開しました。パラメータ数は140Mから950Mまでの範囲で、数学やコーディング、科学的推論といった論理タスクに特化しています。

一般的な対話モデルとは異なり、雑談を削ぎ落としてエッジ環境での構造化推論に計算資源を集中させています。ベースモデルと事後学習済みチェックポイントの両方がHugging Faceから取得可能です。

1B未満で推論力を引き出す仕組み

10億未満の小規模モデルで高い推論精度を出すため、最上位のMobileLLM-R1-950Mには複数の設計工夫が施されています。

内部は22層のTransformer構造で、隠れ層の次元数は6144です。アテンション機構にはGrouped-Query Attention（GQA）を採用し、24個のアテンションヘッドと6個のKVヘッドで構成することで、メモリ消費と計算負荷を抑えています。

さらに、推論速度を犠牲にせずにパラメータを削減するブロック単位の重み共有（Block-wise weight sharing）や、表現力を高めるSwiGLU活性化関数を導入しました。語彙数は128Kで、入力と出力の埋め込みは共有されています。コンテキスト長はベース版で4K、事後学習版では32Kまで拡張されています。

際立っているのが学習の効率の高さです。総学習トークン数は約4.2Tにとどまります。たとえばQwen3-0.6Bは36Tトークンで学習していますが、MobileLLM-R1はそのわずか約11.7%のデータ量で同等以上の精度に達しています。

ベンチマーク結果と注意点

ベンチマークにおいて、950Mモデルは上位モデルを脅かす数字を出しています。

MATH500テストでは74.0を記録しました。これはOlmo-1.24B（19.2）の約5倍、SmolLM2-1.7B（19.2）の約2倍に達し、Qwen3-0.6B（73.0）をもわずかに上回ります。

プログラミングベンチマークのLiveCodeBenchでも19.9をマークし、Qwen3-0.6Bの14.9を凌ぎました。AIME'24では15.5、AIME'25では16.3を獲得しています。

ただし明確な弱点もあります。数学やコードに特化している反面、一般的な日常会話や創作タスクには弱く、GSM8Kでは67.5とQwen3-0.6Bの79.2に及びませんでした。

また、32Kのコンテキストは魅力的なものの、エッジ機器で長文を処理する際はKVキャッシュによるメモリ圧迫が課題になります。何より最大の制約は、FAIR NC（非商用）ライセンスで配布されている点です。商用アプリへそのまま組み込むことはできません。

手元の端末で試したい場合は、Hugging Face上でMobileLLM-R1を検索すればすぐにモデルファイルをダウンロードできます。

なぜ重要か

エッジAIにおける推論タスクは、パラメータの単純な拡大やデータ量の力技に頼らなくても実現できることをMobileLLM-R1は実証しました。巧みな重み共有と質の高い専門データがあれば、1B未満でも驚くほど堅牢な推論が成立します。

ローカル環境で動く開発補助ツールや数式ソルバーを実験したい研究者・開発者なら、今すぐ試す価値があります。一方で非商用条項があるため、商用プロダクトへの即戦力というよりは、今後のオンデバイス推論の設計指針として見るべき存在だと考えられます。