MetaがLlama 3.1を公開：GPT-4o匹敵の405Bモデル、蒸留利用も解禁

Llama 3.1は、Metaが公開したオープンウェイトの大規模言語モデルファミリーです。8B、70B、そして4050億パラメータを誇る超巨大な405Bの3つのサイズで展開され、それぞれベースモデルと指示チューニング済みモデルが用意されています。全モデルでコンテキスト長が従来の8Kから128Kへと大幅に拡大され、英語やフランス語、タイ語など8言語に対応しました。

最大の変更点はライセンス条項の改定です。Metaは今回、Llama 3.1の出力データを使って他のAIモデルを訓練、微調、蒸留することを公式に許可しました。これにより、開発者は規約違反を気にすることなく、最高峰モデルの知見を小型モデルへ移植できるようになります。

何ができるのか

フラッグシップの405Bは、現在公開されているオープンモデルの中で最大規模のデンスモデルです。Metaが実施した150以上のベンチマークテストやブラインド比較において、GPT-4やGPT-4o、Claude 3.5 Sonnetといった商用最上位モデルに匹敵する推論力やコーディング精度を示しています。

指示チューニングモデルはツール利用機能が大幅に強化されており、検索やWolfram Alphaによる計算のほか、独自のJSON関数呼び出しにも対応しています。

405Bの学習には1万6000基以上のH100 GPUが投入され、15兆以上のトークンを処理しました。安全面でも、入出力を監視するLlama Guard 3や、プロンプトインジェクション攻撃を防御するための279Mパラメータの小型分類モデルPrompt Guardが同時に公開されています。

動作環境と試し方

動作に必要なハードウェアはサイズによって大きく異なります。最小の8Bモデルは民生用GPUで十分に動作し、単一GPUでのファインチューニングも可能です。

70Bはエンタープライズ向けのサーバー環境を前提とします。一方、405Bをフル精度で動かすには膨大なGPUメモリが必要ですが、Metaが提供するFP8量子化版を活用すれば、8枚のGPUを積んだ1台のサーバーノード内で推論を実行できます。

モデルの重みはHugging FaceやMeta公式サイトからダウンロード可能です。自前でインフラを用意できない場合でも、Hugging Chat上で405Bのチャットを体験できるほか、AWSやGoogle Cloud、Groqなどのクラウド経由でAPIを利用できます。

なぜ重要か

一般の開発者やスタートアップにとって、405Bを自社で常時ホストする必要は必ずしもありません。真の価値は、405Bを「教師役」として使い、高品質な合成データを生成して8Bなどの軽量モデルへ蒸留する自由を手に入れた点にあります。

商用最前線のGPT-4oと同等クラスのモデルが、蒸留利用まで認めた上でオープン化された意義は極めて大きいです。クローズドな有料APIを提供する競合各社に対して、強い価格引き下げ圧力と差別化のプレッシャーを与えることになると考えられます。