跳到正文
IFAI

开源项目

Meta 晒 Llama 战报:总下载逼近 3.5 亿次,云端用量两个月翻倍

首次发布 传播指数 54

Meta 公布 Llama 最新数据:在 Hugging Face 累计下载量逼近 3.5 亿次,较去年增长超 10 倍。5 到 7 月间主要云平台的 token 用量翻了一倍,8 月甚至以 405B 旗舰版独立用户最多。开源大模型正在真正变成企业基建。

Meta 晒 Llama 战报:总下载逼近 3.5 亿次,云端用量两个月翻倍
图:ai.meta.com

Llama 是 Meta 开源的大语言模型家族,最新版本 Llama 3.1 涵盖了从轻量级到 405B 参数的旗舰规格,支持 128K 上下文和 8 种新增语言,能帮开发者在本地或云端搭建高精度对话、数学计算、多语言翻译和复杂的自主智能体。

Meta 披露了这套开源生态的最新数据。在 Hugging Face 上,Llama 系列累计下载量已逼近 3.5 亿次,相比一年前增长超过 10 倍,单是过去一个月下载量就超过 2000 万次。社区基于它二次开发的衍生模型也已经突破 6 万个。

它是怎么跑起来的

这套工具之所以能被大规模铺开,关键在于 Meta 没有把开源局限在几份权重文件上,而是把它做成了一套完整的参考架构。Llama 3.1 提供了现成的安全与防御工具包,并直接开放了构建智能体的工作流。

从运行门槛来看,小尺寸版本可以在普通工作站甚至消费级硬件上直接部署微调;而参数量达 405B 的超大模型,则主要依托云厂商集群提供算力支撑。

根据 Meta 的统计,主要云服务商托管的 Llama 平台,在 2024 年 5 到 7 月间的 token 使用量翻了一倍以上。从 2024 年 1 月到 7 月,部分头部云平台的月使用量甚至暴涨了 10 倍。

更有意思的是硬件与部署端的反馈。8 月份在某家主要云服务商上,独立用户数最多的居然是 405B 旗舰版。Databricks 表示 Llama 3.1 是其平台上有史以来采用速度最快、销量最好的开源模型,而 Groq 也透露其 LPU 每天正为超过 40 万名开发者处理 50 亿 token。

到哪里去试

目前开发者可以直接从 Hugging Face 或 Meta 官网下载模型权重和代码,也可以在 AWS、Azure、Google Cloud、Databricks 等主流云平台上直接调用现成 API。

除了中小团队,高盛、Shopify、DoorDash、Spotify 和 Zoom 等大公司,以及毕马威、印孚瑟斯等咨询巨头,都已经把它接入了内部业务管线。

为什么重要

对于打算自建 AI 应用的团队来说,Llama 3.1 证明了完全私有化部署并不意味着要在模型能力上妥协。405B 版本在各项能力上抹平了开源与闭源顶尖模型之间的代差,让你既能拥有完整的数据控制权,又不需要从头预训练一个底座。

我们认为,Meta 这套打法的厉害之处在于通过极具进攻性的开源策略,把大模型底座迅速商品化,直接逼迫闭源巨头打价格战。不过对中小开发者而言,405B 这样的庞然大物在本地推理的显存成本依然高昂,大部分人真正能日常用起来的,可能还是依靠社区蒸馏和量化后的小尺寸版本。

来源 (2)

  1. [1]
    ai.meta.com(在新标签页打开)原文ai.meta.com
  2. [2]

话题追踪Meta 的 Llama 战略转型

这个话题的历次新闻,最新的在上面。

  1. 扎克伯格全面押注 Llama:从元宇宙泥潭到开源大模型逆袭
  2. Meta 晒 Llama 战报:总下载逼近 3.5 亿次,云端用量两个月翻倍本条

每日 AI 内容精选