跳到正文
IFAI

开源项目

Meta 确认:开源大模型 Llama 3 下个月内正式推出

首次发布 传播指数 44

Meta 确认将在下个月内开始推出下一代开源大语言模型 Llama 3,年内会陆续推出不同能力和规格的版本。Llama 3 将接入 Meta 旗下多款产品,重点解决此前回答受限的问题,并有望将最大参数规模从 Llama 2 的 700 亿提升至约 1400 亿。

Meta 确认:开源大模型 Llama 3 下个月内正式推出
图:techcrunch.com

Llama 3 是 Meta 即将推出的下一代开源大语言模型,主要用于驱动各类生成式 AI 助手。

在功能定位上,它继续沿用开源路线,但重点改进了此前 Llama 2 广受诟病的问题。前代模型因为安全策略过于保守,经常直接拒答正常提问;Llama 3 不仅提升了回答准确率,还会进一步放宽限制,能够处理更广泛、甚至包含争议性的话题。

Meta 计划将 Llama 3 接入旗下多款核心产品,作为 Meta AI 助手的底层基础。

规格与发布节奏

关于具体配置,Meta 官方目前尚未公开确切的参数量,也没有提供公测演示。

不过据消息透露,Llama 3 的最大版本参数规模预计会达到 1400 亿(140B)左右,相比上一代 Llama 2 最大的 700 亿(70B)翻了一倍。

在发布时间上,Meta 全球事务总裁 Nick Clegg 在 4 月 9 日的伦敦活动上表示,初版会在下个月内开始推出,实际时间甚至可能更短。

随后在今年之内,Meta 还会陆续推出多个不同能力、针对不同场景的细分版本。

需要说明的是,Meta 在多模态生成上依旧保持谨慎。AI 研究副总裁 Joelle Pineau 表示图像生成工具 Emu 暂不发布。此外首席 AI 科学家 Yann LeCun 也公开表达了对生成式 AI 路线的保留态度,认为未来的技术重心是联合嵌入预测架构(JEPA)。

为什么重要

对于打算在本地部署或基于开源底座微调的开发者来说,Llama 3 是接下来最值得盯紧的模型。如果其 140B 版本的综合能力达到预期,且回答限制真正放开,它有望成为对抗闭源大模型的最强开源替代品。

不过硬件门槛也随之翻倍。140B 规模的全量模型对显存要求极高,个人设备基本无法直接跑起来。普通开发者更适合等待下个月模型上线后,随之而来的量化版本或后续放出的中轻量规格。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

话题追踪Meta Llama 3 的开发与发布

这个话题的历次新闻,最新的在上面。

  1. Meta 发布开源模型 Llama 3:推 8B 和 70B 版本,训练数据达 15T
  2. Meta 确认:开源大模型 Llama 3 下个月内正式推出本条
  3. 扎克伯格确认 Meta 正训练 Llama 3:年底将囤下 34 万张 H100 冲刺 AGI

每日 AI 内容精选