跳到正文
IFAI

開源專案

Meta 確認:開源大模型 Llama 3 下個月內正式推出

首次發布 傳播指數 44

Meta 確認將在下個月內開始推出下一代開源大語言模型 Llama 3,年內會陸續推出不同能力和規格的版本。Llama 3 將接入 Meta 旗下多款產品,重點解決此前回答受限的問題,並有望將最大引數規模從 Llama 2 的 700 億提升至約 1400 億。

Meta 確認:開源大模型 Llama 3 下個月內正式推出
圖:techcrunch.com

Llama 3 是 Meta 即將推出的下一代開源大語言模型,主要用於驅動各類生成式 AI 助手。

在功能定位上,它繼續沿用開源路線,但重點改進了此前 Llama 2 廣受詬病的問題。前代模型因為安全策略過於保守,經常直接拒答正常提問;Llama 3 不僅提升了回答準確率,還會進一步放寬限制,能夠處理更廣泛、甚至包含爭議性的話題。

Meta 計劃將 Llama 3 接入旗下多款核心產品,作為 Meta AI 助手的底層基礎。

規格與釋出節奏

關於具體配置,Meta 官方目前尚未公開確切的引數量,也沒有提供公測演示。

不過據訊息透露,Llama 3 的最大版本引數規模預計會達到 1400 億(140B)左右,相比上一代 Llama 2 最大的 700 億(70B)翻了一倍。

在釋出時間上,Meta 全球事務總裁 Nick Clegg 在 4 月 9 日的倫敦活動上表示,初版會在下個月內開始推出,實際時間甚至可能更短。

隨後在今年之內,Meta 還會陸續推出多個不同能力、針對不同場景的細分版本。

需要說明的是,Meta 在多模態生成上依舊保持謹慎。AI 研究副總裁 Joelle Pineau 表示影像生成工具 Emu 暫不釋出。此外首席 AI 科學家 Yann LeCun 也公開表達了對生成式 AI 路線的保留態度,認為未來的技術重心是聯合嵌入預測架構(JEPA)。

為什麼重要

對於打算在本地部署或基於開源底座微調的開發者來說,Llama 3 是接下來最值得盯緊的模型。如果其 140B 版本的綜合能力達到預期,且回答限制真正放開,它有望成為對抗閉源大模型的最強開源替代品。

不過硬體門檻也隨之翻倍。140B 規模的全量模型對視訊記憶體要求極高,個人裝置基本無法直接跑起來。普通開發者更適合等待下個月模型上線後,隨之而來的量化版本或後續放出的中輕量規格。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

話題追蹤Meta Llama 3 的開發與釋出

這個話題的歷次新聞,最新的在上面。

  1. Meta 釋出開源模型 Llama 3:推 8B 和 70B 版本,訓練資料達 15T
  2. Meta 確認:開源大模型 Llama 3 下個月內正式推出本則
  3. 扎克伯格確認 Meta 正訓練 Llama 3:年底將囤下 34 萬張 H100 衝刺 AGI

每日 AI 內容精選