Metaが「Llama 3」準備の噂：GPT-4級の性能を目指し無償提供も継続か

テック企業の懇親会での立ち話が、時に公式発表以上の波紋を広げることがあります。

元Google Brainで現在はOpenAIに所属するエンジニアのJason Wei氏が、Meta主催の生成AIミートアップで耳にした話を明かしました。それによると、MetaはすでにLlama 3およびLlama 4を学習させるのに十分な計算資源を確保しており、Llama 3ではGPT-4水準の性能を目指しつつ、従来通りライセンスの下で無償提供する計画だといいます。

浮上した次世代オープンモデルの噂

Wei氏自身は信頼できる情報源ですが、聞き及んだ内容が正確とは限らず、開発計画が変更される可能性もあります。現時点でMetaから公式なコメントや公開時期のアナウンスはありません。

とはいえ、Metaの開発スピードには実績があります。2023年2月下旬のLlama 1公開から、7月下旬のLlama 2投入まではわずか5カ月しかかかりませんでした。

単純なスケールアップでは越えられない壁

しかし、Llama 3が本当にGPT-4に並ぶとすれば、これまでの進化よりもはるかに険しい道のりになります。

GPT-4は、約1110億パラメータの専門家ネットワークを16個組み合わせたMoE（Mixture of Experts）アーキテクチャを採用しているとみられています。従来のLlamaのような密結合モデルをただスケールさせるだけでは追いつけない可能性が高く、アーキテクチャの刷新が必要になれば開発期間も伸びるはずです。

現在、Llama 2は一部の用途でGPT-3.5に迫る水準にあり、最近発表されたCode Llamaのようにファインチューニング次第でGPT-4に匹敵するコーディングスコアを出す派生モデルも登場しています。それでもMeta自身が論文で認めている通り、GPT-4やGoogleのPaLM-2といった商用クローズドモデルとの間には依然として大きな性能差が存在します。

なぜ重要か

もしLlama 3がGPT-4クラスの実力を備えて無償提供されれば、生成AIの市場構造は劇的に変わるはずです。

ユーザーや企業にとって最大の恩恵は、コストとデータプライバシーのトレードオフが解消される点にあります。これまでは最高峰の推論能力を得るためにOpenAIの有料APIに機密データを投げるしかありませんでしたが、同等水準のモデルを自社サーバーで動かせるとなれば、オンプレミス回帰が一気に進むと考えられます。

業界全体で見れば、MetaはかつてGoogleがAndroidでとった戦略をそのまま再現しようとしています。7月にフィナンシャル・タイムズが報じた通り、Metaの狙いはOpenAIによるLLM市場の独占を崩すことです。自社でAPIを売る必要がないMetaは、基盤技術をオープンにしてコミュニティ全体に改善させ、自社のエコシステムを強固にする道を選んでいます。

ただし懸念もあります。OpenAIのSam Altman氏は6月にGPT-5の学習開始はまだ先だと述べたものの、Googleは今年末から来年初頭にかけてGeminiの投入を控えています。Llama 3が完成する頃には、フロンティアモデルの基準そのものがさらに引き上げられている可能性も十分にあります。