Meta 发布 Llama 3.1：405B 开源旗舰对标 GPT-4o，允许数据蒸馏

首次发布 2024年7月23日传播指数 63

Meta 发布 Llama 3.1 系列，其中 405B 旗舰模型拥有 128K 上下文并在多项基准上对齐 GPT-4o。最值得关注的是，Meta 修改了协议，正式允许开发者用 405B 输出的数据去蒸馏训练其他小模型。

Llama 3.1 是 Meta 推出的开源大模型家族，包含 8B、70B 以及参数量高达 4050 亿的 405B 旗舰版本。每个尺寸都提供预训练基座模型和指令微调版本，全系将上下文窗口从上一代的 8K 直接拉长到 128K，并原生支持德语、法语、西班牙语等 8 种语言。

最核心的变化是开源协议的放宽。Meta 首次明确允许开发者使用 Llama 3.1 生成的输出数据，来训练、微调或蒸馏其他模型。这意味着个人开发者和企业可以把 405B 当作「数据生成器」或评判模型，合法合规地用来打磨自己的专用小模型。

它能做什么

旗舰级的 405B 是目前公开权重里规模最大的密集模型。在 Meta 测试的 150 多个基准数据集和真实人工评估中，它的综合表现直接追平了闭源前沿模型 GPT-4、GPT-4o 以及 Claude 3.5 Sonnet。

全系指令模型都强化了 Agent 智能体工具调用能力。模型内置了网络搜索和 Wolfram Alpha 数学计算接口，也支持开发者挂载自定义的 JSON 函数。

为了训练 405B，Meta 动用了超过 1.6 万张 H100 显卡，在 15 万亿 token 的语料上训练完成，整个家族耗费了超过 3900 万 GPU 运行时长。训练中后期大量使用了高质量合成数据和多轮对齐迭代。

除了生成模型，Meta 还配套开源了两个安全工具：一个是基于 8B 微调的 Llama Guard 3，负责审核多语言输入输出的安全边界；另一个是仅有 279M 参数的小模型 Prompt Guard，专门用来防御针对 LLM 的提示词注入和越狱攻击。

要想在本地跑起来，硬件压力完全看你挑的型号。最小的 8B 版本非常亲民，用消费级显卡就能跑推理，甚至可以通过 Hugging Face TRL 库在单张显卡上进行微调。

70B 则适合有两张以上专业显卡的中小企业。至于 405B 这个庞然大物，原生 16 位浮点（BF16）权重需要极高的显存集群；不过 Meta 与生态伙伴同步推出了 8 位浮点（FP8）量化版本，优化后可以刚好塞进一台 8 卡 H100 单节点服务器里跑推理。

所有模型的权重已经完整开放，你可以在 llama.meta.com 申请或直接在 Hugging Face 下载。不想自己准备硬件的，也可以在 Hugging Chat 网页端直接体验 405B，或者通过 AWS、Google Cloud、Groq 等云服务直接调用 API。

对开发者和中小企业来说，Llama 3.1 最大的价值不是非得在本地把 405B 跑起来，而是拿它来当「导师」。以往用闭源商业 API 生成合成数据训练模型往往违反服务条款，现在 Meta 亲手撕掉了这道禁令，你可以放心用 405B 蒸馏出跑在端侧的专属小模型。

我们认为，Meta 这一步直接把开源大模型的天花板推到了和顶级闭源模型平起平坐的位置。对 OpenAI 和 Anthropic 来说，闭源前沿模型的护城河正在被快速收窄，接下来如果拿不出代差级的模型，高昂的闭源 API 定价策略将很难继续维持。