傳 Meta 籌備 Llama 3：對標 GPT-4，且繼續保持免費開源

在矽谷的酒會上，聊出來的八卦往往比釋出會更讓人興奮。

一位 OpenAI 的工程師最近在 Meta 辦的技術聚會上，無意中聽到了同行的閒聊。這個訊息如果屬實，開源大模型可能馬上要迎來真正的質變：Meta 內部已經在準備 Llama 3 和 Llama 4，而且目標非常明確，就是要把 Llama 3 做到 GPT-4 的水平，並且繼續免費開源。

酒會上傳出的算力底氣

爆料的人是前 Google Brain 成員、現任 OpenAI 工程師 Jason Wei。他在參加 Meta 組織的一場生成式 AI 線下聚會時聽到內部討論，Meta 目前手頭擁有的算力，已經完全足夠支撐 Llama 3 甚至 Llama 4 的訓練。

更有意思的是定位。傳聞中 Meta 計劃讓 Llama 3 直接對標 OpenAI 的頂峰選手 GPT-4，並且依然沿用之前的 Llama 許可證，對社群和商業機構免費開放。

不過 Wei 聽到的話目前還只是傳聞，Meta 官方沒有任何公開口風。技術路線和時間表隨時可能變卦，但外界對這個節奏其實早有預期：畢竟從 2023 年 2 月底的 Llama 1 到 7 月底的 Llama 2，Meta 只用了五個月時間。

想追上 GPT-4，光靠堆卡可能不夠

從 Llama 1 到 Llama 2 靠的是堆資料和擴充訓練，但想在 Llama 3 上追平 GPT-4，難度完全不是一個量級。

業內普遍推測，GPT-4 之所以強，是因為它採用了複雜的混合專家架構（MoE），傳聞由 16 個專家網路組成，每個專家網路大概有 1110 億引數。對於走相對傳統稠密模型路線的 Llama 來說，簡單的擴充套件定律可能碰壁，工程架構上大機率得推倒重來，研發耗時也會比之前更長。

目前開源陣營的現狀是，Llama 2 在某些具體場景裡能摸到 GPT-3.5 的尾巴。比如剛釋出的 Code Llama 程式碼模型，經過針對性微調後，在 HumanEval 基準測試裡已經能拿到接近 GPT-4 的成績。

但 Meta 自己在 Llama 2 的論文裡也承認，和 GPT-4 以及 Google 的 PaLM-2 相比，整體能力還是存在明顯的代差。

為什麼重要

我們認為，如果 Llama 3 真的能達到 GPT-4 的水準，整個生成式 AI 市場的收費邏輯會被瞬間打穿。

對開發者和企業來說，現在的兩難選擇是：要麼花大價錢呼叫 OpenAI 的閉源介面，忍受資料出境和隱私隱患；要麼在本地部署 Llama 2，但不得不忍受它在複雜邏輯和多輪推理上的平庸。一旦出現一個免費且擁有 GPT-4 級推理能力的開源模型，很多中小型企業會毫不猶豫地把工作流遷回私有化部署，商業 API 的暴利時代可能就此終結。

對行業格局而言，Meta 走的是經典的「Android 路線」。《金融時報》上個月就提到，Meta 的核心目標就是打破 OpenAI 在大模型領域的壟斷。它自己不靠賣模型 API 賺錢，只要開源生態圍繞 Llama 繁榮起來，全球開發者的最佳化、工具鏈和算力適配都在替它打工，進而反哺自己的硬體和廣告業務。

不過隱患也很明顯。算力充足不代表架構創新一定能跑通，而且 OpenAI 也不會原地踏步。Sam Altman 之前表示 GPT-5 還沒開始訓練，Google 也準備在今年底或明年初祭出 Gemini。Llama 3 追的是現在的 GPT-4，但等它真正訓練完開源的那一天，前方的靶子可能又往前挪了一大截。