Meta 推出端側模型 MobileLLM：3.5 億引數在 API 呼叫上媲美 70 億 LLaMA-2

MobileLLM 是 Meta 開源的一套專門針對智慧手機和端側裝置的輕量語言模型架構，核心目標是在不到 10 億引數的極小體積下，榨出足夠實用的模型能力。

它由 Meta Reality Labs、PyTorch 團隊以及 FAIR 聯合研發，主要解決端側硬體跑大模型時記憶體不足、發熱和耗電嚴重的痛點。

它能做什麼

雖然體量被嚴格壓在 10 億引數以內，但 MobileLLM 在實際任務中的表現並不縮水。

在常規評測基準上，它比同尺寸的現有輕量模型效能高出 2.7% 到 4.3%。

最亮眼的突破在於工具呼叫：3.5 億引數的 MobileLLM 版本，在特定 API 呼叫任務上的準確率，已經能夠追平引數量是它 20 倍的 70 億引數 LLaMA-2。

這意味著它非常適合直接塞進手機系統，專門用來聽懂使用者指令、呼叫日曆、傳送訊息或操作手機設定，而不需要把資料傳到雲端。

怎麼做到的

為了在極小體積下提升能力，團隊放棄了常規小模型的瘦身方案，做了幾項關鍵調整。

首先是做深不做寬。通常小模型喜歡減少網路層數，但 MobileLLM 優先保證網路深度，讓模型能學到更復雜的表達邏輯。

其次是引入了分組查詢注意力機制，並且讓詞嵌入層共享權重。

Meta 首席 AI 科學家 Yann LeCun 在 X 上專門提到了另一項關鍵技術：即時塊級權重共享。通過在相鄰層之間複用權重，既減少了模型佔用的記憶體空間，又避免了反覆載入引數造成的延遲。

開放程度與怎麼用

目前 MobileLLM 還沒做成直接面向普通使用者的開箱即用應用。

Meta 已經將預訓練程式碼完全開源，研究人員和開發者可以直接獲取程式碼，用來復現架構並訓練自己的端側專屬模型。

想要嘗試的開發者可以關注 Meta 開源的預訓練倉庫，結合自己的端側資料集進行訓練或微調。

為什麼重要

如果你是端側應用或系統級功能開發者，MobileLLM 非常值得跟進。它證明了不需要動輒 7B、8B 的龐大體積，3.5 億引數只要架構得當，就能把端側最需要的 API 呼叫和意圖識別跑得很好。

和直接把雲端大模型做簡單剪枝的做法相比，MobileLLM 這種從一開始就面向端側記憶體與計算瓶頸重新設計架構的思路，顯然更務實也更聰明。端側 AI 想真正普及，拼的正是這種在幾百兆視訊記憶體裡把單一任務做到極致的能力。