MetaがCM3leonを発表：テキストと画像を相互生成、計算量を5分の1に削減

テキストから画像を生成する拡散モデルと、画像を理解する言語モデル。これまで別々に進化してきた二つの領域を、単一の構造でまとめ上げるアプローチが登場しました。

Meta が発表した CM3leon（カメレオンのように発音）は、テキストから画像の生成と、画像からテキストの生成の両方をこなすマルチモーダル基盤モデルです。

言語モデルの学習手順を画像に応用

CM3leon は、因果的マスク混合モーダル（CM3）と呼ばれる自己回帰型トランスフォーマーを採用しています。最大の特徴は、純粋なテキスト言語モデルの学習手法をそのまま持ち込んだ点です。

大規模な検索拡張による事前学習と、多タスクの指示チューニングという二段階の訓練を適用しました。画像もテキストも同じトークン列として扱うことで、同一モデル内で双方向の処理を可能にしています。

特筆すべきはその効率です。従来のトランスフォーマー型画像生成手法と比較して、学習計算量を 5 分の 1 に削減しながら、ゼロショット MS-COCO ベンチマークで 4.88 という FID スコアを記録しました。これは Google の Parti を上回る最高水準の結果です。テキスト側の訓練データがわずか 30 億トークンにとどまる点からも、手法の効率の高さがうかがえます。

1 つのモデルで生成から編集、QA まで担当

CM3leon は複雑なプロンプトの指示にも正確に追従します。たとえば「麦わら帽子とネオンサングラスを身につけた砂漠のサボテン」といった複数の要素が絡み合う構図や、文字を含む標識の描写でも破綻の少ない画像を生成できます。

さらに、単なる生成にとどまらず、テキストによる画像編集、画像についての質問応答、詳細なキャプション生成まで同じモデルが実行します。

これまで指示による画像編集には InstructPix2Pix のような専用モデルが必要でしたが、CM3leon はモデルを切り替えることなく、空の色を鮮明な青に変えるといった編集作業を直接こなします。

なぜ重要か

私たちは、画像生成の主流となった拡散モデル一強の流れに対して、自己回帰型トランスフォーマーの可能性を改めて示した点が極めて大きいと考えています。

認識系と生成系で別々のエンジンを用意するのではなく、テキスト言語モデルの効率的な訓練レシピを画像トークンにそのまま適用できることを証明しました。計算資源を大幅に抑えつつトップクラスの精度を出せるアプローチは、今後の基盤モデル開発におけるコスト削減の有力な選択肢になります。

実務目線で見ても、単一モデルで視覚理解と画像編集を同時にこなせる利点は大きいです。パイプラインの統合が進めば、アプリケーション側のアーキテクチャは大幅にシンプルになります。

ただし、自己回帰型モデルは推論時にトークンを順番に生成していくため、高速化が進む拡散モデルに比べてレスポンス速度の確保が課題になりやすい面もあります。今すぐ実務に導入するというよりは、今後のマルチモーダル統合の流れを占う重要な技術的マイルストーンとして注目すべき動きといえます。