Meta 釋出開源模型 Llama 3：推 8B 和 70B 版本，訓練資料達 15T

Llama 3 是 Meta 推出的新一代開源大語言模型，首發提供 8B 和 70B 兩種尺寸，分別涵蓋預訓練 Base 版本和指令微調 Instruct 版本。配合這次釋出，Meta 還基於 8B 模型微調並推出了負責安全過濾的 Llama Guard 2。

兩款模型目前在 Hugging Face 全面開放下載，支援原生 Transformers 整合，無論是本地單卡部署還是企業級微調都能直接上手。

規格與效能表現

Llama 3 沿用了 Llama 2 的基礎架構，但在資料規模和底層設計上做了明顯升級。整個模型在兩個配備 2.4 萬張 GPU 的叢集上訓練完成，預訓練資料量超過 15 萬億 token，比上一代多了近 8 倍。微調版本則使用了超過 1000 萬條人工標註樣本，結合了監督微調（SFT）、拒絕取樣、PPO 和 DPO 等多種對齊方案。

一個關鍵變化是分詞器。Llama 3 將詞表容量從上一代的 3.2 萬擴大到了 128,256，這讓輸入輸出的文本編碼效率大幅提升，多語言能力也更紮實。因為詞表變大帶動了嵌入層引數增加，最小版本才從 Llama 2 的 7B 略微漲到了 8B。此外，8B 版本這次也引入了分組查詢注意力（GQA）機制，推理效率比以往更高。

在 Hugging Face 的 Open LLM Leaderboard 評測中，Llama 3 8B 跑出了 13.41 分，明顯優於 Llama 2 7B 的 8.72 分；70B 版本的得分則達到 26.37 分，不僅大幅甩開 Llama 2 70B 的 18.25 分，也微弱領先於 Mixtral 8x22B 的 25.49 分。

硬體要求方面，Llama 3 8B Instruct 在 bfloat16 精度下需要大約 16 GB 視訊記憶體，一張 RTX 3090 或 RTX 4090 即可執行。如果做 4-bit 量化，視訊記憶體佔用能進一步降到 7 GB 左右，普通遊戲顯示卡甚至 Google Colab 的免費算力都能跑起來。

怎麼用與開源協議

如果你想在本地跑，升級到 Transformers 4.40 即可載入。模型支援通過 torch.compile 和 CUDA 圖進行加速，能獲得約 4 倍的推理提速。如果想微調，配合 TRL 和 QLoRA 可以在單張消費級顯示卡上完成。

雲端部署方面，Hugging Face 的 Inference Endpoints、Google Cloud 的 Vertex AI 與 GKE，以及 AWS SageMaker 都已支援一鍵部署。想在網頁端直接體驗的讀者，可以在 Hugging Chat 上直接試用 Llama 3 70B Instruct。

在開源協議上，Llama 3 依然延續了較為寬鬆的商用許可，允許修改、分發和商業化，但新增了明確的署名條款。如果你基於它開發衍生模型，名稱必須以「Llama 3」開頭，相關服務也需要在顯著位置標註「Built with Meta Llama 3」。

為什麼重要

對於個人開發者和中小團隊來說，Llama 3 8B 幾乎是目前最值得優先嚐試的輕量底座。它能在 7 GB 視訊記憶體的裝置上跑得飛快，單卡就能微調，效能卻已經超過了上一代更大尺寸的模型。如果你正在搭建本地助手、私有知識庫或端側應用，可以直接把它替換成預設選項。

對行業而言，Meta 再次用超大規模資料訓練證明了純開源模型的潛力。用 15 萬億 token 砸出來的 70B 模型，已經足以作為開源陣營正面對抗商業閉源 API 的中流砥柱。美中不足的是兩款模型首發時原生上下文仍停留在 8k tokens，在長文本分析或長程式碼處理上略顯侷促。但憑藉極高的資料質量與龐大的生態支援，Llama 3 毫無疑問將成為未來一年開源社群最核心的創新地基。