Meta、次期Llamaモデル「Behemoth」の公開を延期か　性能向上に課題

年間最大650億ドルという巨額の設備投資を計画するMetaですが、そのAI開発の最前線で大きな壁に突き当たっているようです。

ウォール・ストリート・ジャーナル（WSJ）の報道によると、Metaが開発を進める次世代超大型モデル「Llama Behemoth（コードネーム）」の開発が難航しています。従来のLlamaファミリーと比べて目立った性能向上が得られず、社内では「一般公開に値する進化なのか」を巡って議論が巻き起こっているとのことです。

この報道を受けて、木曜日のMetaの株価は2％以上下落しました。

秋以降へ延期、初代論文の著者は11人が退職

Behemothは当初、4月のMeta初となるAI開発者会議で発表される予定でした。その後6月へ延期され、現在は早くても秋以降まで先送りされる見通しです。

Metaは4月に2つの小型Llamaモデルを公開し、競合を猛追するスピード感で高い評価を受けました。しかし、より巨大なモデルの開発では苦戦が続いています。

社外向けには、Behemothが特定のベンチマークでOpenAIやGoogle、Anthropicのモデルを上回ると主張していました。しかし内部関係者がWSJに語ったところによると、モデルは深刻なトレーニング上の課題を抱えており、実利用での性能は公の主張に届いていない模様です。

開発体制の変化も影を落としています。2023年初頭に初代Llamaを世に送り出したFAIRチームですが、当時の論文著者14名のうち11名がすでにMetaを退職しており、現在は別のチームが開発を引き継いでいます。

さらに4月には、公開リーダーボードに提出したモデルが一般公開版と異なり、ベンチマーク用に特別に最適化されたものだったことが発覚し、批判を浴びる場面もありました。

スケーリングの限界に悩むシリコンバレー全体

ただ、開発の遅れに直面しているのはMetaだけではありません。

OpenAIも次期大型モデル「GPT-5」のリリースを延期し、中間バージョンである「GPT-4.5」でお茶を濁す形をとっています。Anthropicも最大規模の「Claude 3.5 Opus」のリリースを先送りしており、業界全体でモデルの大型化による性能向上が鈍化している兆候が見られます。

巨額の資金とコンピュートを注ぎ込めば自動的に賢くなるという従来の前提が、いよいよ揺らぎ始めています。

なぜ重要か

オープンソースAIを頼りにしてきたエンジニアや企業にとって、Llamaの停滞は深刻な問題です。Metaが莫大なコストを肩代わりして最高峰の重みを配ってくれるという前提が崩れれば、外部の開発者は既存モデルのファインチューニングや小型化技術へのシフトを迫られることになります。

業界全体に目を向けると、ROI（投資対効果）へのプレッシャーがいよいよ限界に達しつつあります。Metaの株価収益率（PER）は5月15日時点で25.05倍に達しており、年間650億ドルの巨額投資に見合う成果を株主に示さなければなりません。

私たちは、ベンチマーク特化の調整を行っていた点からも、Meta内部の焦りが透けて見えると考えています。初代の主要研究者が大半流出した中で、力任せの計算資源投入だけでは次世代の知能を切り拓けない現実が浮き彫りになりました。もしMetaのような資金力を持つ巨頭ですら足踏みしているとすれば、生成AIブーム全体の投資ペースが見直される転換点になるかもしれません。