Meta、オープンLLM「Llama 3」を公開　8Bと70Bの2サイズ、15兆トークンで学習

Llama 3は、Metaが公開した次世代のオープンソース大規模言語モデルだ。パラメータ規模は8Bと70Bの2種類で、それぞれ事前学習済みのベースモデルと指示調整済みのInstructモデルが用意されている。あわせて、安全フィルタリング用に8Bベースで微調整されたLlama Guard 2も提供される。

全モデルがHugging Face Hubで即座に入手可能となっており、Webブラウザ上のHugging Chatや各種クラウドへのワンクリック展開にも対応している。

スペックとハードウェア要件

Llama 3は、2万4000基のGPUクラスタを2組用いて、前世代の約8倍にあたる15兆トークン以上の公開データで事前学習された。Instruct版の調整には1000万件以上の人手アノテーションデータが投入され、SFT、リジェクションサンプリング、PPO、DPOを組み合わせて対話性能を高めている。

構造上の大きな変更点はトークナイザの刷新だ。語彙数が前作の3.2万から12万8256へと大幅に拡大され、テキストの符号化効率と多言語処理性能が向上した。埋め込み層の拡大に伴い小型モデルのパラメータ数は7Bから8Bに微増しているが、8Bモデルにも新たにGQA（Grouped-Query Attention）が採用され、推論効率が引き上げられている。なお、コンテキスト長は現時点で8kトークンとなる。

性能面では、Hugging FaceのOpen LLM Leaderboardにおいて8B版が13.41を記録し、Llama 2 7Bの8.72を大きく上回った。70B版は26.37に達し、Llama 2 70Bの18.25を圧倒したほか、Mixtral 8x22Bの25.49をもわずかに凌駕している。

ハードウェアの敷居も低い。Llama 3 8B Instructはbfloat16精度で約16 GBのVRAMを消費するため、GeForce RTX 3090や4090といった民生用GPUで動作する。4-bit量子化を施せば約7 GBまでメモリ消費を抑えられ、低価格帯のグラフィックボードやGoogle Colabの無料枠でも動かせる。

動かし方とライセンス

ローカルで利用する場合、Transformers 4.40以降をインストールすれば数行のコードで推論パイプラインを構築できる。torch.compileとCUDAグラフを組み合わせることで最大4倍の推論高速化も可能だ。微調整に関しても、TRLとQLoRAを使えば単一GPUで実行できる。

クラウド展開については、Hugging FaceのInference Endpoints、Google CloudのVertex AIおよびGKE、AWS SageMakerですでに環境が整備されている。70Bモデルの動作をすぐに試したい場合は、Hugging Chat上で対話が可能だ。

ライセンスは商用利用にも寛容な規約が維持されているが、今回から帰属表示のルールが明文化された。派生モデルを公開する際はモデル名の先頭に「Llama 3」を含める必要があり、提供サービス内でも「Built with Meta Llama 3」と明記することが求められる。

なぜ重要か

個人開発者や中小企業にとって、Llama 3 8Bは文句なしの第一選択肢になる。わずか7 GBのVRAMで動作し、一般的なPCでも微調整が可能なサイズでありながら、前世代の中規模モデルを凌ぐ実力を備えているからだ。

AI業界全体にとっても、15兆トークンの高品質データで鍛え上げたモデルをオープンウェイトとして投下した意義は大きい。8kトークンという文脈制限には物足りなさが残るものの、外部API依存から脱却したい現場にとって、70B版を含め実用的なオープン基盤が整ったことの影響は計り知れない。