Meta 推出端側模型 MobileLLM:3.5 億引數在 API 呼叫上媲美 70 億 LLaMA-2
Meta 公佈面向手機等端側裝置的語言模型架構 MobileLLM,專注 10 億以下引數規模。通過優先增加網路深度與權重共享,其 3.5 億引數版本在部分 API 呼叫任務上媲美 70 億引數的 LLaMA-2。這意味著端側小模型也能勝任實用功能,目前預訓練程式碼已開源。
Meta 公佈面向手機等端側裝置的語言模型架構 MobileLLM,專注 10 億以下引數規模。通過優先增加網路深度與權重共享,其 3.5 億引數版本在部分 API 呼叫任務上媲美 70 億引數的 LLaMA-2。這意味著端側小模型也能勝任實用功能,目前預訓練程式碼已開源。