Meta 釋出端側模型 MobileLLM-R1：引數低於 1B，數學能力翻倍

MobileLLM-R1 是 Meta 推出的一套端側推理模型家族，引數量在 140M 到 950M 之間，專為手機或嵌入式裝置上的數學、程式設計和科學推理設計。

它不打算做全能的聊天助手，而是把有限的算力全押在硬核推理上。在 Hugging Face 上可以直接下載權重，包含基礎版本與經過後訓練的指令微調版本。

它是怎麼做到小而精的

小模型跑複雜推理，最大的難題就是引數量不夠用。系列中最大的 MobileLLM-R1-950M 採用了一套高度精簡的架構。

它設計了 22 層 Transformer 結構，隱藏層維度為 6144，注意力機制採用分組查詢注意力（GQA），配有 24 個查詢頭和 6 個鍵值頭，用來壓低推理計算量與視訊記憶體佔用。

為了在不明顯拖慢速度的前提下壓縮體積，模型引入了分塊權重共享（Block-wise weight sharing），並配合 SwiGLU 啟用函式提升表達能力。詞表大小設為 128K，且共享了輸入與輸出嵌入。

在上下文長度上，基礎版支援 4K 上下文，後訓練版本則擴充套件到了 32K，能處理更長的多步驟解題或程式碼上下文。

更亮眼的是它的資料效率。整個訓練過程只消耗了約 4.2T token，而後訓練階段集中在數學、程式碼和結構化推理資料集上。相比之下，Qwen3-0.6B 消耗了整整 36T token。MobileLLM-R1 只用了對方不到八分之一的資料量，就追平甚至超越了同級別的精度。

跑分表現與短板

在基準測試中，950M 版本展現出了跨級挑戰的能力。

在 MATH500 資料集上，它的準確率達到 74.0。這一成績是 Olmo-1.24B 的近 5 倍，也是 SmolLM2-1.7B 的近 2 倍，甚至微弱領先於 Qwen3-0.6B 的 73.0。

在程式設計測試 LiveCodeBench 上，它跑出了 19.9 分，超過了 Qwen3-0.6B 的 14.9 分。在 AIME'24 和 AIME'25 上分別拿到 15.5 和 16.3。

不過，這款模型也有明顯的取捨。它偏科嚴重，在日常閒聊、常識問答和開放式創作上表現薄弱。在 GSM8K 測試中，它拿到 67.5 分，落後於 Qwen3-0.6B 的 79.2 分。

此外，雖然 32K 上下文非常誘人，但在端側實際執行長文本時，KV 快取對記憶體的壓力會急劇增加。最關鍵的限制在於許可證：Meta 採用了 FAIR NC（非商用）協議，這意味著目前只能用於研究和個人實驗，無法直接整合進商用產品。

如果你想在本地裝置或者受限硬體上體驗，現在就可以去 Hugging Face 搜尋 MobileLLM-R1 下載模型權重。

為什麼重要

我們認為，MobileLLM-R1 證明了一件事：在端側做推理，不用盲目堆引數和灌海量資料。靠最佳化的模型結構和高密度的推理資料，1B 以下的模型完全能跑出體面甚至驚豔的解題能力。

如果你是端側 AI 研究者或做本地離線工具的極客，它非常值得拿來跑跑數學和程式碼補全實驗。但對企業開發者來說，非商用協議是一道硬門檻，現階段它的參考價值大於實用落地價值。