Meta、初のMoE多モーダル「Llama 4」公開：1000万トークン対応

Llama 4 ScoutとLlama 4 Maverickは、Metaがオープンウェイト形式で公開した最新のネイティブ多モーダルAIモデルです。従来の高密度アーキテクチャから混合エキスパート（MoE）へと全面的に移行しており、どちらもトークン生成時のアクティブパラメータを170億（17B）に抑えつつ高い性能を引き出しています。

特筆すべきは文脈長の広さです。小型のScoutは最大1000万トークンという業界最高水準のコンテキストに対応し、大型のMaverickも100万トークンをサポートします。

何ができるか

両モデルは「アーリーフュージョン」技術を採用し、テキストと視覚データを最初から同一のバックボーンで統合学習しています。最大48枚の画像入力に対応し、複数画像にまたがる推論や動画フレームの時系列解析を高精度にこなします。

Llama 4 Maverickは総パラメータ4000億（400B）、128エキスパート構成の汎用フラッグシップです。Metaの測定によると、推論、プログラミング、多言語処理、画像理解の各ベンチマークでGPT-4oやGemini 2.0を上回り、DeepSeek V3.1とも互角に競い合います。

一方のLlama 4 Scoutは総パラメータ1090億（109B）、16エキスパート構成で、1000万トークンの長大な入力処理に特化しています。巨大なソースコードベース全体や過去数年分のログデータを一度に読み込ませて要約・推論させることが可能です。

さらにMetaは、両モデルの蒸留元となった約2兆パラメータの巨大教師モデル「Llama 4 Behemoth」の存在も明かしています。Behemothは現在も学習中ですが、MATH-500などの難関ベンチマークでGPT-4.5やClaude 3.7 Sonnetを凌駕するとされています。

動作環境と技術的な特徴

アクティブパラメータは17Bですが、推論時には全パラメータをVRAM上に保持する必要があります。

Scoutは4ビット（Int4）量子化を適用することで、単一のNVIDIA H100（80GB）GPU上で動作させることができます。手元に巨大なサーバークラスタがなくても単一ノードで検証が可能です。

Maverickは総パラメータが4000億あるため、BF16またはFP8精度で動作させるには8基のH100を搭載したDGXホストが標準的な構成となります。

1000万トークンの文脈長を実現した背景には、位置エンコーディングを持たない層を定期的に挟み込む「iRoPE」構造の採用があります。モデルの重みはHugging Faceおよびllama.comからLlama 4コミュニティライセンスの下でダウンロードでき、transformers v4.51.0以降で即座にロード可能です。

なぜ重要か

開発者にとって、Scoutの1000万トークン対応は複雑なRAG（検索拡張生成）パイプラインの構築負担を大きく引き下げてくれます。大量のドキュメントやコードをそのままプロンプトに流し込める環境が、単一のH100で実現できる実用性は見逃せません。

MetaがMoEとネイティブ多モーダルへ舵を切ったのは極めて合理的な判断に見えます。推論コストを17B相当に抑えながら、閉源トップモデルに迫る知能をオープンに提供するアプローチは、今後のオープンソースAIコミュニティの標準的な開発基盤になっていくはずです。