跳到正文
IFAI

大模型

扎克伯格确认 Meta 正训练 Llama 3:年底将囤下 34 万张 H100 冲刺 AGI

首次发布 传播指数 63

Meta 扎克伯格宣布正在训练下一代大模型 Llama 3,重点补齐代码生成、推理与规划能力。为了打造通用人工智能(AGI),Meta 预计在年底前囤积超 34 万张英伟达 H100 芯片,总算力折合近 60 万张 H100,并调整架构让前沿科研更直接对接数十亿产品用户。

扎克伯格确认 Meta 正训练 Llama 3:年底将囤下 34 万张 H100 冲刺 AGI
图:theverge.com

过去一年大家都在聊 AGI,但 Meta 首席执行官扎克伯格之前很少把这个词挂在嘴边。现在他不仅公开改口,还直接亮出了自家最硬的一张王牌。

扎克伯格在社交媒体上正式宣布,Meta 已经开始训练下一代旗舰大模型 Llama 3。这一次,他的终极目标就是通用人工智能(AGI)。为了拿下这个目标,Meta 正掀起一场从组织架构到算力储备的全方位冲刺。

亮出 34 万张 H100,不惜代价抢人才

要做顶尖模型,首先得拼算力。扎克伯格在接受 The Verge 专访时直接秀了肌肉:到 2024 年底,Meta 将拥有超过 34 万张英伟达 H100 GPU。

如果把手里的 A100 以及其他 AI 芯片全部折算进来,Meta 的总算力规模将达到近 60 万张 H100 等效算力。第三方数据显示,Meta 在 2023 年就拿到了约 15 万张 H100,出货量与微软打平,至少是其他同行的三倍以上。扎克伯格直言,Meta 建立的计算能力可能比任何单家公司都要大,只是很多人之前没意识到。

除了算力,另一个极度稀缺的资源是人才。现在的顶级 AI 研究员年薪动辄开到 100 万美元以上,各个大厂和风投机构都在抢人。扎克伯格透露,自己经常需要亲自出马,去说服核心人选加盟,或者劝阻自家员工跳槽。

为了让技术更快落地,Meta 还调整了组织架构。由图灵奖得主 Yann LeCun 和 Joelle Pineau 带领的 FAIR 基础 AI 研究团队,此前归属于首席技术官 Andrew Bosworth 的 Reality Labs 硬件部门,现在被整体挪到了负责应用业务的 Chris Cox 麾下。这意味着前沿科研将与 Facebook、Instagram 和 WhatsApp 团队直接并网,服务全球数十亿用户。

从 Llama 2 的教训到 Llama 3 的野心

谈到 Llama 3 的进化方向,扎克伯格坦言吸取了上一代的教训。

在做 Llama 2 时,团队曾觉得代码能力没那么重要,毕竟普通人不会在 WhatsApp 上让人教写代码。但后来他们发现,代码生成本质上是模型理解逻辑体系、知识层级与严谨推理的关键骨架。因此在 Llama 3 中,代码生成、复杂推理与任务规划能力成了重中之重。

扎克伯格承认,Llama 2 虽然是当时最好的开源模型,但还称不上整个行业的最前沿。而对于 Llama 3 及其后续版本,Meta 的野心是直接对标行业顶尖水准,甚至成为第一。

在开源策略上,扎克伯格也顺便敲打了竞争对手。他暗讽 OpenAI 等公司从最初承诺开源变成了现在的极度封闭,并把封闭包装成「安全考量」。他认为这其实是聪明的商业把戏:领先者最喜欢呼吁设置安全护栏来限制后来者。不过扎克伯格也留了后手,表示只要合理且负责任,Meta 会倾向于开源,但没有把 Meta 做出 AGI 后是否开源说死。

至于元宇宙,扎克伯格否认这是战略掉头。Meta 每年依然给 Reality Labs 砸下超过 150 亿美元,Ray-Ban 智能眼镜已经接入了视觉 AI 助手。接下来 Meta 还会上线一个新平台,让普通人创建自己的 AI 角色并分发到各个社交应用中。

为什么重要

我们认为,扎克伯格这次表态最重要的地方,在于彻底确立了 Meta 在 AI 军备竞赛里的「掀桌者」地位。

对开发者和创业公司来说,这绝对是个好消息。如果 Meta 真能拿出性能逼近 GPT-4 甚至更强的 Llama 3,并且继续以近乎开源的形式放出权重,就意味着整个行业不必被闭源巨头的 API 接口和高昂调用费卡住脖子。中小型团队可以基于 Llama 3 定制专属模型,本地部署与私有化落地的门槛会被进一步打下来。

对行业竞争格局而言,这也是一次极具威力的降维打击。Meta 不靠直接卖大模型 API 赚钱,它的核心现金牛是社交网络广告。它把顶尖模型开源,说白了就是在把对手的核心资产「商品化」乃至「免费化」。OpenAI、Google 和 Anthropic 必须在商业化上承受更大的定价压力,而 Meta 借此吸引全球最聪明的开发者帮自己打磨生态,反哺自家的硬件与社交产品。

当然,这里面也有隐患。Meta 囤积 34 万张 H100 的底气来源于极其雄厚的财力,这进一步拉大了巨头与普通玩家之间的算力鸿沟。而且扎克伯格自己也承认,未来如果真的做出了 AGI,是否开源完全取决于他的个人决定。开源看起来是他的战术武器,但最终生态的走向,依然掌握在单一大股东手里。

来源 (3)

  1. [1]
    instagram.com(在新标签页打开)原文instagram.com
  2. [2]
    theverge.com(在新标签页打开)报道theverge.com
  3. [3]

话题追踪Meta Llama 3 的开发与发布

这个话题的历次新闻,最新的在上面。

  1. Meta 发布开源模型 Llama 3:推 8B 和 70B 版本,训练数据达 15T
  2. Meta 确认:开源大模型 Llama 3 下个月内正式推出
  3. 扎克伯格确认 Meta 正训练 Llama 3:年底将囤下 34 万张 H100 冲刺 AGI本条

每日 AI 内容精选