Meta 发布开源模型 Llama 3：推 8B 和 70B 版本，训练数据达 15T

Llama 3 是 Meta 推出的新一代开源大语言模型，首发提供 8B 和 70B 两种尺寸，分别涵盖预训练 Base 版本和指令微调 Instruct 版本。配合这次发布，Meta 还基于 8B 模型微调并推出了负责安全过滤的 Llama Guard 2。

两款模型目前在 Hugging Face 全面开放下载，支持原生 Transformers 集成，无论是本地单卡部署还是企业级微调都能直接上手。

规格与性能表现

Llama 3 沿用了 Llama 2 的基础架构，但在数据规模和底层设计上做了明显升级。整个模型在两个配备 2.4 万张 GPU 的集群上训练完成，预训练数据量超过 15 万亿 token，比上一代多了近 8 倍。微调版本则使用了超过 1000 万条人工标注样本，结合了监督微调（SFT）、拒绝采样、PPO 和 DPO 等多种对齐方案。

一个关键变化是分词器。Llama 3 将词表容量从上一代的 3.2 万扩大到了 128,256，这让输入输出的文本编码效率大幅提升，多语言能力也更扎实。因为词表变大带动了嵌入层参数增加，最小版本才从 Llama 2 的 7B 略微涨到了 8B。此外，8B 版本这次也引入了分组查询注意力（GQA）机制，推理效率比以往更高。

在 Hugging Face 的 Open LLM Leaderboard 评测中，Llama 3 8B 跑出了 13.41 分，明显优于 Llama 2 7B 的 8.72 分；70B 版本的得分则达到 26.37 分，不仅大幅甩开 Llama 2 70B 的 18.25 分，也微弱领先于 Mixtral 8x22B 的 25.49 分。

硬件要求方面，Llama 3 8B Instruct 在 bfloat16 精度下需要大约 16 GB 显存，一张 RTX 3090 或 RTX 4090 即可运行。如果做 4-bit 量化，显存占用能进一步降到 7 GB 左右，普通游戏显卡甚至 Google Colab 的免费算力都能跑起来。

怎么用与开源协议

如果你想在本地跑，升级到 Transformers 4.40 即可加载。模型支持通过 torch.compile 和 CUDA 图进行加速，能获得约 4 倍的推理提速。如果想微调，配合 TRL 和 QLoRA 可以在单张消费级显卡上完成。

云端部署方面，Hugging Face 的 Inference Endpoints、Google Cloud 的 Vertex AI 与 GKE，以及 AWS SageMaker 都已支持一键部署。想在网页端直接体验的读者，可以在 Hugging Chat 上直接试用 Llama 3 70B Instruct。

在开源协议上，Llama 3 依然延续了较为宽松的商用许可，允许修改、分发和商业化，但新增了明确的署名条款。如果你基于它开发衍生模型，名称必须以「Llama 3」开头，相关服务也需要在显著位置标注「Built with Meta Llama 3」。

为什么重要

对于个人开发者和中小团队来说，Llama 3 8B 几乎是目前最值得优先尝试的轻量底座。它能在 7 GB 显存的设备上跑得飞快，单卡就能微调，性能却已经超过了上一代更大尺寸的模型。如果你正在搭建本地助手、私有知识库或端侧应用，可以直接把它替换成默认选项。

对行业而言，Meta 再次用超大规模数据训练证明了纯开源模型的潜力。用 15 万亿 token 砸出来的 70B 模型，已经足以作为开源阵营正面对抗商业闭源 API 的中流砥柱。美中不足的是两款模型首发时原生上下文仍停留在 8k tokens，在长文本分析或长代码处理上略显局促。但凭借极高的数据质量与庞大的生态支持，Llama 3 毫无疑问将成为未来一年开源社区最核心的创新地基。