Meta 釋出 Llama 3.1：405B 開源旗艦對標 GPT-4o，允許資料蒸餾

首次發布 2024年7月23日傳播指數 63

Meta 釋出 Llama 3.1 系列，其中 405B 旗艦模型擁有 128K 上下文並在多項基準上對齊 GPT-4o。最值得關注的是，Meta 修改了協議，正式允許開發者用 405B 輸出的資料去蒸餾訓練其他小模型。

Llama 3.1 是 Meta 推出的開源大模型家族，包含 8B、70B 以及引數量高達 4050 億的 405B 旗艦版本。每個尺寸都提供預訓練基座模型和指令微調版本，全系將上下文視窗從上一代的 8K 直接拉長到 128K，並原生支援德語、法語、西班牙語等 8 種語言。

最核心的變化是開源協議的放寬。Meta 首次明確允許開發者使用 Llama 3.1 生成的輸出資料，來訓練、微調或蒸餾其他模型。這意味著個人開發者和企業可以把 405B 當作「資料生成器」或評判模型，合法合規地用來打磨自己的專用小模型。

它能做什麼

旗艦級的 405B 是目前公開權重裡規模最大的密集模型。在 Meta 測試的 150 多個基準資料集和真實人工評估中，它的綜合表現直接追平了閉源前沿模型 GPT-4、GPT-4o 以及 Claude 3.5 Sonnet。

全係指令模型都強化了 Agent 智慧體工具呼叫能力。模型內建了網路搜尋和 Wolfram Alpha 數學計算介面，也支援開發者掛載自定義的 JSON 函式。

為了訓練 405B，Meta 動用了超過 1.6 萬張 H100 顯示卡，在 15 萬億 token 的語料上訓練完成，整個家族耗費了超過 3900 萬 GPU 執行時長。訓練中後期大量使用了高質量合成數據和多輪對齊迭代。

除了生成模型，Meta 還配套開源了兩個安全工具：一個是基於 8B 微調的 Llama Guard 3，負責稽核多語言輸入輸出的安全邊界；另一個是僅有 279M 引數的小模型 Prompt Guard，專門用來防禦針對 LLM 的提示詞注入和越獄攻擊。

要想在本地跑起來，硬體壓力完全看你挑的型號。最小的 8B 版本非常親民，用消費級顯示卡就能跑推理，甚至可以通過 Hugging Face TRL 庫在單張顯示卡上進行微調。

70B 則適合有兩張以上專業顯示卡的中小企業。至於 405B 這個龐然大物，原生 16 位浮點（BF16）權重需要極高的視訊記憶體叢集；不過 Meta 與生態夥伴同步推出了 8 位浮點（FP8）量化版本，最佳化後可以剛好塞進一臺 8 卡 H100 單節點伺服器裡跑推理。

所有模型的權重已經完整開放，你可以在 llama.meta.com 申請或直接在 Hugging Face 下載。不想自己準備硬體的，也可以在 Hugging Chat 網頁端直接體驗 405B，或者通過 AWS、Google Cloud、Groq 等雲服務直接呼叫 API。

對開發者和中小企業來說，Llama 3.1 最大的價值不是非得在本地把 405B 跑起來，而是拿它來當「導師」。以往用閉源商業 API 生成合成資料訓練模型往往違反服務條款，現在 Meta 親手撕掉了這道禁令，你可以放心用 405B 蒸餾出跑在端側的專屬小模型。

我們認為，Meta 這一步直接把開源大模型的天花板推到了和頂級閉源模型平起平坐的位置。對 OpenAI 和 Anthropic 來說，閉源前沿模型的護城河正在被快速收窄，接下來如果拿不出代差級的模型，高昂的閉源 API 定價策略將很難繼續維持。