Metaが「Llama 3.3 70B」公開　405B級の性能を大幅な低コストで実現

Llama 3.3 70Bは、Metaが公開した最新のオープンなテキスト生成AIモデルです。最大の特長は、かつての超巨大モデル「Llama 3.1 405B」と同等の性能を、はるかに扱いやすい70Bのサイズと運用コストで実現した点にあります。

大規模な専用クラスタを用意しなくても、最前線レベルの推論や言語理解をローカルや自社環境で動かせるのが強みです。

何ができるのか

Metaの生成AI担当バイスプレジデントであるAhmad Al-Dahle氏が公開したデータによると、Llama 3.3 70BはMMLUなどの主要ベンチマークでGoogleのGemini 1.5 Pro、OpenAIのGPT-4o、Amazonの新モデルNova Proを上回るスコアを記録しました。

Metaによると、特に数学的推論、一般知識、指示追従性、外部アプリやツールの呼び出しといった実用領域で顕著な性能向上が図られています。

複雑なエージェントワークフローの構築や社内データの高度な処理において、第一候補になり得る実力を備えています。

仕組みと利用条件

405B級の能力を70Bに落とし込めた背景には、事後学習技術の進化があります。

オンライン選好最適化をはじめとする最新の事後学習手法を取り入れたことで、パラメータを無駄に増やさずともモデル本来のコア性能を最大限に引き出すことに成功しました。

モデルの重みファイルは、Hugging FaceやLlama公式サイトを通じてすでにダウンロード可能となっています。

ライセンス形態は従来通りで、一般的な開発者や企業は無償で商用利用できますが、月間アクティブユーザー数が7億人を超える大規模プラットフォームのみMetaへの個別申請が必要です。

なぜ重要か

自社サーバーでの運用やファインチューニングを考えている開発者にとって、Llama 3.3 70Bは今すぐ試すべき極めて実用的な選択肢です。405Bモデルは性能こそ高かったもののハードウェア要件が厳しすぎましたが、70Bなら一般的な複数GPU構成で十分に現実的な運用が可能です。

事後学習の工夫次第で、オープンモデルでもGPT-4oなどのトップクラス商用APIに対抗できることが示されました。外部APIの利用料やデータプライバシーに悩んでいた企業にとって、強力な追い風となるはずです。