传 Meta 旗舰大模型 Behemoth 遭遇瓶颈:发布或延至秋季
据《华尔街日报》报道,Meta 因工程挑战推迟了代号为 Behemoth 的下一代 Llama 模型发布,或延期至秋季。工程师难以让其大幅超越前代,内部对其是否值得公开产生分歧。初代作者大批离职,Meta 面临证明巨额 AI 投入的压力。
今年打算砸下 650 亿美元资本开支的 Meta,突然在自家的算力中心前踩了一脚急刹车。
据《华尔街日报》报道,Meta 代号为 Behemoth 的下一代超大旗舰 Llama 模型遭遇了严重的训练瓶颈。工程师们发现,它的性能相比早期的 Llama 版本提升相当有限,甚至引发了内部激烈争论:现在的提升幅度,到底配不配公开发布?
消息传出后,Meta 股价在周四收盘跌了超过 2%。这只被寄予厚望的「巨兽」,看来短时间内是很难和大家见面了。
延期到秋季,原班人马却走空了
Behemoth 原本定于 4 月在 Meta 首届 AI 开发者大会上亮相,随后被推迟到 6 月,如今知情人士透露,发布时间至少要拖到秋天。
今年 4 月,Meta 刚刚发布了两款尺寸较小的 Llama 模型,当时外界还在称赞他们追赶对手的速度。但到了超大参数级别,现实立刻泼了一盆冷水。
虽然 Meta 在公开场合宣称 Behemoth 在部分基准测试中超越了 OpenAI、Google 和 Anthropic,但内部消息源表示,该模型正面临严峻的训练挑战,实际表现很可能根本对不上官方宣传的漂亮数字。
更尴尬的是团队的大换血。2023 年初打造出初代 Llama 的是 Meta 基础 AI 研究团队(FAIR),如今那篇开山论文的 14 位作者里,有 11 位已经离开了 Meta。现在的版本完全由另一拨团队接手。
雪上加霜的是,4 月份 Meta 还陷入过一场「跑分特供」的风波。有人发现他们提交给行业排行榜的模型和公开发布的版本不一样,Meta 事后也不得不承认,他们专门为了刷榜优化了提交的模型。
撞墙的,其实不止扎克伯格一个人
如果你觉得这只是 Meta 团队换血后的阵痛,那就把这件事看小了。放眼整个硅谷,大模型的「撞墙期」似乎正在全面蔓延。
OpenAI 原定的大杀器 GPT-5 同样遭遇推迟,不得不先拿出一个折中的中间版本 GPT-4.5 来顶替排期。
另一家头部选手 Anthropic 也推迟了自家最大、最强的 Claude 3.5 Opus 发布,虽然他们对外表示发布「指日可待」,但终究没有按最初的节奏拿出来。
大家都在面对同一个棘手的问题:当模型参数和训练数据堆到千亿甚至万亿级别后,继续砸钱砸显卡,换来的提升正在急剧变平。
为什么重要
对于开源社区和开发者来说,Llama 一直是整个生态的顶梁柱。很多初创公司和个人开发者都在指望着 Meta 砸巨资训练出顶级模型,然后免费开源给大家用。如果 Behemoth 难产,意味着开源阵营今年可能很难在基础智力上正面抗衡闭源商业模型,大家必须学会在现有模型尺寸下做更深度的落地,而不是盲目等「大招」。
对行业而言,Meta 现在的处境把一个残酷的事实摆上了台面:650 亿美元的资本开支,换来的边际收益正在断崖式下跌。截至 5 月 15 日,Meta 的市盈率为 25.05,华尔街给的高估值是建立在 AI 能快速转化为真金白银的预期之上的。一旦模型表现无法支撑宣传,投资人的耐心很快就会耗尽。
我们认为,Meta 之前为了好看专门做「跑分特供」版本,已经暴露出管理层在 ROI 压力下的焦虑动作。训练超大模型不再只是简单的堆算力游戏,在核心骨干流失大半之后,新团队能不能啃下万亿参数这块硬骨头,看起来会打上一个巨大的问号。如果连 Meta 这种算力巨头都不得不放慢脚步,整个行业恐怕都要重新算一算大模型的投资回报账了。
来源 (1)
- qz.com(在新标签页打开)原文qz.com