Meta、基底言語モデル「LLaMA」を発表：最大650億パラメータ、研究向けに提供

巨大言語モデルの開発競争といえば、数百億から数千億のパラメータを抱える巨大モデルを抱える巨大IT企業だけの特権になりつつありました。

Metaはこの常識に切り込む新しい基底言語モデル「LLaMA（Large Language Model Meta AI）」を発表しました。マーク・ザッカーバーグCEOは、AI研究コミュニティに向けてモデルを提供するとSNSで表明しています。

今回公開されたのは、70億（7B）、130億（13B）、330億（33B）、650億（65B）の4つのパラメータ規模です。最大の特徴は、モデルサイズを抑えながら、桁違いの性能を叩き出した点にあります。

パラメータ数がすべてではないことを証明

Metaの研究チームによると、わずか13BのLLaMAが、1750億パラメータを持つOpenAIのGPT-3を大半の言語タスクで上回りました。さらに、この13Bモデルは単一のNvidia Tesla V100グラフィックスカード上で動作するとされています。

また、最大規模の65Bモデルは、Googleの5400億パラメータを誇るPaLMと互角に競合し、DeepMindのChinchillaに匹敵する実力を備えています。

その秘密は学習データ（トークン数）の徹底的な増量にあります。GPT-3の学習データが約3000億トークンだったのに対し、LLaMAは7Bと13Bで1兆トークン、33Bと65Bでは1.4兆トークンを学習させました。研究者のギヨーム・ランプ氏によると、7Bモデルは1兆トークンを通過した後でも性能が向上し続けていたといいます。

公開データへのこだわりと厳格な提供枠組み

学習データの透明性もLLaMAの特徴です。非公開データに頼らず、クリーンアップされたCommon Crawl（全体の約67%）やGitHub、Wikipediaなど、すべて一般に公開されているデータを使用しています。

ただし、誰でも自由に商用利用できるわけではありません。悪用やバイアスのリスクを考慮し、LLaMAは非商用ライセンス（GPL v3）のもとで提供されます。

利用できるのは大学などの学術研究者、政府や市民社会組織、企業の研究所などに限定され、個別の審査を経て重みが配布されます。

なぜ重要か

LLaMAの登場は、AI業界のスケーリング戦略における大きな転換点になります。

これまで性能を高めるにはパラメータ数を増やすのが近道とされてきましたが、巨大モデルは運用時の推論コストが跳ね上がります。Metaが示したのは、モデルサイズを絞って長時間の事前学習を施せば、推論コストを大幅に抑えつつトップクラスの性能を出せるという現実的な解です。

研究者にとっては、一般的なGPU1枚でGPT-3並みのモデルを動かせる価値は計り知れません。バイアスやハルシネーションの検証が、大学の研究室レベルで一気に加速するはずです。

クローズド路線を歩むOpenAIやGoogleに対し、Metaが研究コミュニティを味方につける戦略に出たのは極めて巧妙に見えます。一方で、研究目的に限定した審査制とはいえ、一度モデルの重みが外部に出れば拡散を防ぐのは難しく、悪用防止の実効性をどう担保するかという課題は残されています。