Meta 发布端侧模型 MobileLLM-R1：参数低于 1B，数学能力翻倍

MobileLLM-R1 是 Meta 推出的一套端侧推理模型家族，参数量在 140M 到 950M 之间，专为手机或嵌入式设备上的数学、编程和科学推理设计。

它不打算做全能的聊天助手，而是把有限的算力全押在硬核推理上。在 Hugging Face 上可以直接下载权重，包含基础版本与经过后训练的指令微调版本。

它是怎么做到小而精的

小模型跑复杂推理，最大的难题就是参数量不够用。系列中最大的 MobileLLM-R1-950M 采用了一套高度精简的架构。

它设计了 22 层 Transformer 结构，隐藏层维度为 6144，注意力机制采用分组查询注意力（GQA），配有 24 个查询头和 6 个键值头，用来压低推理计算量与显存占用。

为了在不明显拖慢速度的前提下压缩体积，模型引入了分块权重共享（Block-wise weight sharing），并配合 SwiGLU 激活函数提升表达能力。词表大小设为 128K，且共享了输入与输出嵌入。

在上下文长度上，基础版支持 4K 上下文，后训练版本则扩展到了 32K，能处理更长的多步骤解题或代码上下文。

更亮眼的是它的数据效率。整个训练过程只消耗了约 4.2T token，而后训练阶段集中在数学、代码和结构化推理数据集上。相比之下，Qwen3-0.6B 消耗了整整 36T token。MobileLLM-R1 只用了对方不到八分之一的数据量，就追平甚至超越了同级别的精度。

跑分表现与短板

在基准测试中，950M 版本展现出了跨级挑战的能力。

在 MATH500 数据集上，它的准确率达到 74.0。这一成绩是 Olmo-1.24B 的近 5 倍，也是 SmolLM2-1.7B 的近 2 倍，甚至微弱领先于 Qwen3-0.6B 的 73.0。

在编程测试 LiveCodeBench 上，它跑出了 19.9 分，超过了 Qwen3-0.6B 的 14.9 分。在 AIME'24 和 AIME'25 上分别拿到 15.5 和 16.3。

不过，这款模型也有明显的取舍。它偏科严重，在日常闲聊、常识问答和开放式创作上表现薄弱。在 GSM8K 测试中，它拿到 67.5 分，落后于 Qwen3-0.6B 的 79.2 分。

此外，虽然 32K 上下文非常诱人，但在端侧实际运行长文本时，KV 缓存对内存的压力会急剧增加。最关键的限制在于许可证：Meta 采用了 FAIR NC（非商用）协议，这意味着目前只能用于研究和个人实验，无法直接集成进商用产品。

如果你想在本地设备或者受限硬件上体验，现在就可以去 Hugging Face 搜索 MobileLLM-R1 下载模型权重。

为什么重要

我们认为，MobileLLM-R1 证明了一件事：在端侧做推理，不用盲目堆参数和灌海量数据。靠优化的模型结构和高密度的推理数据，1B 以下的模型完全能跑出体面甚至惊艳的解题能力。

如果你是端侧 AI 研究者或做本地离线工具的极客，它非常值得拿来跑跑数学和代码补全实验。但对企业开发者来说，非商用协议是一道硬门槛，现阶段它的参考价值大于实用落地价值。