传 Meta 筹备 Llama 3：对标 GPT-4，且继续保持免费开源

在硅谷的酒会上，聊出来的八卦往往比发布会更让人兴奋。

一位 OpenAI 的工程师最近在 Meta 办的技术聚会上，无意中听到了同行的闲聊。这个消息如果属实，开源大模型可能马上要迎来真正的质变：Meta 内部已经在准备 Llama 3 和 Llama 4，而且目标非常明确，就是要把 Llama 3 做到 GPT-4 的水平，并且继续免费开源。

酒会上传出的算力底气

爆料的人是前 Google Brain 成员、现任 OpenAI 工程师 Jason Wei。他在参加 Meta 组织的一场生成式 AI 线下聚会时听到内部讨论，Meta 目前手头拥有的算力，已经完全足够支撑 Llama 3 甚至 Llama 4 的训练。

更有意思的是定位。传闻中 Meta 计划让 Llama 3 直接对标 OpenAI 的顶峰选手 GPT-4，并且依然沿用之前的 Llama 许可证，对社区和商业机构免费开放。

不过 Wei 听到的话目前还只是传闻，Meta 官方没有任何公开口风。技术路线和时间表随时可能变卦，但外界对这个节奏其实早有预期：毕竟从 2023 年 2 月底的 Llama 1 到 7 月底的 Llama 2，Meta 只用了五个月时间。

想追上 GPT-4，光靠堆卡可能不够

从 Llama 1 到 Llama 2 靠的是堆数据和扩充训练，但想在 Llama 3 上追平 GPT-4，难度完全不是一个量级。

业内普遍推测，GPT-4 之所以强，是因为它采用了复杂的混合专家架构（MoE），传闻由 16 个专家网络组成，每个专家网络大概有 1110 亿参数。对于走相对传统稠密模型路线的 Llama 来说，简单的扩展定律可能碰壁，工程架构上大概率得推倒重来，研发耗时也会比之前更长。

目前开源阵营的现状是，Llama 2 在某些具体场景里能摸到 GPT-3.5 的尾巴。比如刚发布的 Code Llama 代码模型，经过针对性微调后，在 HumanEval 基准测试里已经能拿到接近 GPT-4 的成绩。

但 Meta 自己在 Llama 2 的论文里也承认，和 GPT-4 以及 Google 的 PaLM-2 相比，整体能力还是存在明显的代差。

为什么重要

我们认为，如果 Llama 3 真的能达到 GPT-4 的水准，整个生成式 AI 市场的收费逻辑会被瞬间打穿。

对开发者和企业来说，现在的两难选择是：要么花大价钱调用 OpenAI 的闭源接口，忍受数据出境和隐私隐患；要么在本地部署 Llama 2，但不得不忍受它在复杂逻辑和多轮推理上的平庸。一旦出现一个免费且拥有 GPT-4 级推理能力的开源模型，很多中小型企业会毫不犹豫地把工作流迁回私有化部署，商业 API 的暴利时代可能就此终结。

对行业格局而言，Meta 走的是经典的「Android 路线」。《金融时报》上个月就提到，Meta 的核心目标就是打破 OpenAI 在大模型领域的垄断。它自己不靠卖模型 API 赚钱，只要开源生态围绕 Llama 繁荣起来，全球开发者的优化、工具链和算力适配都在替它打工，进而反哺自己的硬件和广告业务。

不过隐患也很明显。算力充足不代表架构创新一定能跑通，而且 OpenAI 也不会原地踏步。Sam Altman 之前表示 GPT-5 还没开始训练，Google 也准备在今年底或明年初祭出 Gemini。Llama 3 追的是现在的 GPT-4，但等它真正训练完开源的那一天，前方的靶子可能又往前挪了一大截。