Meta、次世代オープンソースLLM「Llama 3」を来月中にリリースと認める

Llama 3は、Metaが来月中の提供開始を予定している次世代のオープンソース大規模言語モデルだ。生成AIアシスタントの基底モデルとして機能するよう設計されている。

前世代のLlama 2で指摘されていた過度な安全性制限の緩和が大きな改良点となる。従来のモデルは回答を拒否しがちだったが、Llama 3では精度の向上に加え、議論を呼ぶような踏み込んだ話題を含む幅広い質問に対応できるよう調整される。

Metaの最高製品責任者（CPO）であるChris Cox氏によると、Llama 3は同社の複数の主要プロダクトに順次組み込まれる予定だ。

予想スペックとリリース計画

Metaは現時点で公式なパラメータ数やデモを公開していない。

ただし、業界内では最大モデルが約1400億（140B）パラメータ規模になると見られており、Llama 2の最大モデル（70B）から倍増する見通しだ。

4月9日にロンドンで開催されたイベントにおいて、Metaのグローバル業務担当プレジデントであるNick Clegg氏は、初期リリースが来月中、あるいはそれより早い段階で始まると認めた。

年内を通じて、性能や用途の異なる複数のバリエーションモデルが順次公開される計画となっている。

一方でテキスト以外の生成モデルについては慎重姿勢が続く。AI研究担当VPのJoelle Pineau氏は画像生成ツール「Emu」の公開を見送る方針を示した。また同社チーフAIサイエンティストのYann LeCun氏は生成AIの限界に言及し、JEPA（結合埋め込み予測アーキテクチャ）こそが本命であると述べている。

なぜ重要か

自社インフラでの運用やローカル環境でのファインチューニングを前提とする開発者にとって、Llama 3は今年前半で最も注目すべき基盤モデルだ。回答制限が緩み、140Bの実力が伴えば、商用のプロプライエタリモデルに対する有力な代替となる。

ただし、パラメータ規模が140Bに達すると要求されるGPUメモリは一気に跳ね上がる。一般的な開発機でそのまま動かすのは難しいため、来月モデルが公開された後は、コミュニティによる量子化版や今後追加される軽量版の動向を待って試すのが現実的だ。