MetaがChameleonを発表：画像とテキストを交錯生成するネイティブマルチモーダルモデル

現在のマルチモーダル AI の多くは、いわば既存の言語モデルに画像認識用の別モデルを後からつなぎ合わせた「継ぎ接ぎ」の構造になっています。この後段融合と呼ばれるアプローチは手軽ですが、画像と文章が複雑に入り乱れる処理では限界に直面しがちでした。

Meta が発表した新たなモデル群 Chameleon は、その前提を根底から見直しています。画像を単語と同じように離散的なトークンへと変換し、テキストやコードと完全に統一された語彙空間の中で、最初から一つのトランスフォーマーとして学習させています。

画像を単語のように扱うエンドツーエンド設計

Chameleon が採用したのは早期融合と呼ばれる方式です。入力された画像とテキストを別々のパーツで処理するのではなく、最初から混ざり合ったシーケンスとして扱います。

Meta の研究チームによれば、コンセプトとして最も近いのは Google の Gemini です。ただし Gemini が画像生成の段階で独立した画像デコーダーを用いているのに対し、Chameleon は入力の理解から生成までを完全に単一モデルで完結させています。

この難度の高い学習を実現するため、Meta は 500 万時間を超える Nvidia A100 80GB GPU の計算リソースを投入しました。学習データは 4.4 兆トークンに及び、70 億（7B）と 340 億（34B）の 2 つのパラメータサイズが構築されています。

テキスト性能を落とさず画像と文章を同時に紡ぐ

一般に画像対応を進めると純粋なテキスト処理性能が落ちる傾向がありますが、Chameleon はその弱点を克服しています。

常識推論や読解力といったテキスト専門のベンチマークにおいて、Chameleon は Mixtral 8x7B や Gemini-Pro に匹敵する精度を維持しました。さらに視覚的質問応答（VQA）や画像キャプション生成では、34B モデルが Flamingo や IDEFICS、Llava-1.5 を上回る成果を示しています。

特に際立つのが、画像とテキストが交互に現れるコンテンツの生成能力です。人間による評価実験では、Chameleon が生成した図文混在のドキュメントが既存手法よりも明確に高く評価されました。

なぜ重要か

大手テック企業が多機能なマルチモーダルモデルを発表しながら内部構造の詳細を伏せるなか、Meta が完全な早期融合アプローチの設計と検証結果を明かした意義は大きいと考えられます。

ドキュメント作成や教材制作、Web コンテンツの自動生成など、文章の途中に文脈に沿った図版を挟み込む作業は現場の強いニーズです。別々のモデルを連携させる従来の仕組みでは図と文章の整合性が崩れがちでしたが、同じトークン空間で処理する Chameleon のような設計なら、より自然な出力が期待できます。ただし現時点ではプレビュー段階であり、モデルの重みは一般公開されていません。

早期融合モデルは学習の安定化が極めて難しく、膨大な計算コストがかかる点が最大の障壁です。それでも、もし Meta が従来の Llama シリーズのように将来的に Chameleon の重みをオープンにすれば、プロプライエタリな閉鎖型モデルに対抗する強力なオープン基盤として定着する可能性が高いと見ています。