傳 Meta 旗艦大模型 Behemoth 遭遇瓶頸:釋出或延至秋季
據《華爾街日報》報道,Meta 因工程挑戰推遲了代號為 Behemoth 的下一代 Llama 模型釋出,或延期至秋季。工程師難以讓其大幅超越前代,內部對其是否值得公開產生分歧。初代作者大批離職,Meta 面臨證明鉅額 AI 投入的壓力。
今年打算砸下 650 億美元資本開支的 Meta,突然在自家的算力中心前踩了一腳急剎車。
據《華爾街日報》報道,Meta 代號為 Behemoth 的下一代超大旗艦 Llama 模型遭遇了嚴重的訓練瓶頸。工程師們發現,它的效能相比早期的 Llama 版本提升相當有限,甚至引發了內部激烈爭論:現在的提升幅度,到底配不配公開發布?
訊息傳出後,Meta 股價在週四收盤跌了超過 2%。這隻被寄予厚望的「巨獸」,看來短時間內是很難和大家見面了。
延期到秋季,原班人馬卻走空了
Behemoth 原本定於 4 月在 Meta 首屆 AI 開發者大會上亮相,隨後被推遲到 6 月,如今知情人士透露,釋出時間至少要拖到秋天。
今年 4 月,Meta 剛剛釋出了兩款尺寸較小的 Llama 模型,當時外界還在稱讚他們追趕對手的速度。但到了超大引數級別,現實立刻潑了一盆冷水。
雖然 Meta 在公開場合宣稱 Behemoth 在部分基準測試中超越了 OpenAI、Google 和 Anthropic,但內部訊息源表示,該模型正面臨嚴峻的訓練挑戰,實際表現很可能根本對不上官方宣傳的漂亮數字。
更尷尬的是團隊的大換血。2023 年初打造出初代 Llama 的是 Meta 基礎 AI 研究團隊(FAIR),如今那篇開山論文的 14 位作者裡,有 11 位已經離開了 Meta。現在的版本完全由另一撥團隊接手。
雪上加霜的是,4 月份 Meta 還陷入過一場「跑分特供」的風波。有人發現他們提交給行業排行榜的模型和公開發布的版本不一樣,Meta 事後也不得不承認,他們專門為了刷榜優化了提交的模型。
撞牆的,其實不止扎克伯格一個人
如果你覺得這只是 Meta 團隊換血後的陣痛,那就把這件事看小了。放眼整個矽谷,大模型的「撞牆期」似乎正在全面蔓延。
OpenAI 原定的大殺器 GPT-5 同樣遭遇推遲,不得不先拿出一個折中的中間版本 GPT-4.5 來頂替排期。
另一家頭部選手 Anthropic 也推遲了自家最大、最強的 Claude 3.5 Opus 釋出,雖然他們對外表示釋出「指日可待」,但終究沒有按最初的節奏拿出來。
大家都在面對同一個棘手的問題:當模型引數和訓練資料堆到千億甚至萬億級別後,繼續砸錢砸顯示卡,換來的提升正在急劇變平。
為什麼重要
對於開源社群和開發者來說,Llama 一直是整個生態的頂梁柱。很多初創公司和個人開發者都在指望著 Meta 砸巨資訓練出頂級模型,然後免費開源給大家用。如果 Behemoth 難產,意味著開源陣營今年可能很難在基礎智力上正面抗衡閉源商業模型,大家必須學會在現有模型尺寸下做更深度的落地,而不是盲目等「大招」。
對行業而言,Meta 現在的處境把一個殘酷的事實擺上了檯面:650 億美元的資本開支,換來的邊際收益正在斷崖式下跌。截至 5 月 15 日,Meta 的市盈率為 25.05,華爾街給的高估值是建立在 AI 能快速轉化為真金白銀的預期之上的。一旦模型表現無法支撐宣傳,投資人的耐心很快就會耗盡。
我們認為,Meta 之前為了好看專門做「跑分特供」版本,已經暴露出管理層在 ROI 壓力下的焦慮動作。訓練超大模型不再只是簡單的堆算力遊戲,在核心骨幹流失大半之後,新團隊能不能啃下萬億引數這塊硬骨頭,看起來會打上一個巨大的問號。如果連 Meta 這種算力巨頭都不得不放慢腳步,整個行業恐怕都要重新算一算大模型的投資回報賬了。
來源 (1)
- qz.com(在新分頁開啟)原文qz.com