扎克伯格确认 Meta 正训练 Llama 3:年底将囤下 34 万张 H100 冲刺 AGI
Meta 扎克伯格宣布正在训练下一代大模型 Llama 3,重点补齐代码生成、推理与规划能力。为了打造通用人工智能(AGI),Meta 预计在年底前囤积超 34 万张英伟达 H100 芯片,总算力折合近 60 万张 H100,并调整架构让前沿科研更直接对接数十亿产品用户。

过去一年大家都在聊 AGI,但 Meta 首席执行官扎克伯格之前很少把这个词挂在嘴边。现在他不仅公开改口,还直接亮出了自家最硬的一张王牌。
扎克伯格在社交媒体上正式宣布,Meta 已经开始训练下一代旗舰大模型 Llama 3。这一次,他的终极目标就是通用人工智能(AGI)。为了拿下这个目标,Meta 正掀起一场从组织架构到算力储备的全方位冲刺。
亮出 34 万张 H100,不惜代价抢人才
要做顶尖模型,首先得拼算力。扎克伯格在接受 The Verge 专访时直接秀了肌肉:到 2024 年底,Meta 将拥有超过 34 万张英伟达 H100 GPU。
如果把手里的 A100 以及其他 AI 芯片全部折算进来,Meta 的总算力规模将达到近 60 万张 H100 等效算力。第三方数据显示,Meta 在 2023 年就拿到了约 15 万张 H100,出货量与微软打平,至少是其他同行的三倍以上。扎克伯格直言,Meta 建立的计算能力可能比任何单家公司都要大,只是很多人之前没意识到。
除了算力,另一个极度稀缺的资源是人才。现在的顶级 AI 研究员年薪动辄开到 100 万美元以上,各个大厂和风投机构都在抢人。扎克伯格透露,自己经常需要亲自出马,去说服核心人选加盟,或者劝阻自家员工跳槽。
为了让技术更快落地,Meta 还调整了组织架构。由图灵奖得主 Yann LeCun 和 Joelle Pineau 带领的 FAIR 基础 AI 研究团队,此前归属于首席技术官 Andrew Bosworth 的 Reality Labs 硬件部门,现在被整体挪到了负责应用业务的 Chris Cox 麾下。这意味着前沿科研将与 Facebook、Instagram 和 WhatsApp 团队直接并网,服务全球数十亿用户。
从 Llama 2 的教训到 Llama 3 的野心
谈到 Llama 3 的进化方向,扎克伯格坦言吸取了上一代的教训。
在做 Llama 2 时,团队曾觉得代码能力没那么重要,毕竟普通人不会在 WhatsApp 上让人教写代码。但后来他们发现,代码生成本质上是模型理解逻辑体系、知识层级与严谨推理的关键骨架。因此在 Llama 3 中,代码生成、复杂推理与任务规划能力成了重中之重。
扎克伯格承认,Llama 2 虽然是当时最好的开源模型,但还称不上整个行业的最前沿。而对于 Llama 3 及其后续版本,Meta 的野心是直接对标行业顶尖水准,甚至成为第一。
在开源策略上,扎克伯格也顺便敲打了竞争对手。他暗讽 OpenAI 等公司从最初承诺开源变成了现在的极度封闭,并把封闭包装成「安全考量」。他认为这其实是聪明的商业把戏:领先者最喜欢呼吁设置安全护栏来限制后来者。不过扎克伯格也留了后手,表示只要合理且负责任,Meta 会倾向于开源,但没有把 Meta 做出 AGI 后是否开源说死。
至于元宇宙,扎克伯格否认这是战略掉头。Meta 每年依然给 Reality Labs 砸下超过 150 亿美元,Ray-Ban 智能眼镜已经接入了视觉 AI 助手。接下来 Meta 还会上线一个新平台,让普通人创建自己的 AI 角色并分发到各个社交应用中。
为什么重要
我们认为,扎克伯格这次表态最重要的地方,在于彻底确立了 Meta 在 AI 军备竞赛里的「掀桌者」地位。
对开发者和创业公司来说,这绝对是个好消息。如果 Meta 真能拿出性能逼近 GPT-4 甚至更强的 Llama 3,并且继续以近乎开源的形式放出权重,就意味着整个行业不必被闭源巨头的 API 接口和高昂调用费卡住脖子。中小型团队可以基于 Llama 3 定制专属模型,本地部署与私有化落地的门槛会被进一步打下来。
对行业竞争格局而言,这也是一次极具威力的降维打击。Meta 不靠直接卖大模型 API 赚钱,它的核心现金牛是社交网络广告。它把顶尖模型开源,说白了就是在把对手的核心资产「商品化」乃至「免费化」。OpenAI、Google 和 Anthropic 必须在商业化上承受更大的定价压力,而 Meta 借此吸引全球最聪明的开发者帮自己打磨生态,反哺自家的硬件与社交产品。
当然,这里面也有隐患。Meta 囤积 34 万张 H100 的底气来源于极其雄厚的财力,这进一步拉大了巨头与普通玩家之间的算力鸿沟。而且扎克伯格自己也承认,未来如果真的做出了 AGI,是否开源完全取决于他的个人决定。开源看起来是他的战术武器,但最终生态的走向,依然掌握在单一大股东手里。
来源 (3)
- instagram.com(在新标签页打开)原文instagram.com
- theverge.com(在新标签页打开)报道theverge.com
- axios.com(在新标签页打开)报道axios.com
话题追踪Meta Llama 3 的开发与发布
- Meta 发布开源模型 Llama 3:推 8B 和 70B 版本,训练数据达 15T
- Meta 确认:开源大模型 Llama 3 下个月内正式推出
- 扎克伯格确认 Meta 正训练 Llama 3:年底将囤下 34 万张 H100 冲刺 AGI本条