Lumaが新手法「IMM」を発表：拡散モデル超えの画質と10倍以上のサンプリング効率を実現

Inductive Moment Matching（IMM）は、Lumaがオープンソースとして公開した新しい生成事前学習アルゴリズムだ。拡散モデル特有の「サンプリングが遅くステップ数が必要」という長年の課題を解決するために作られた。

従来のノイズ除去スコアマッチングや確率微分方程式を回避し、単一の損失関数に基づくモーメントマッチングを採用している。サンプリングステップ数を最大30分の1に削減しながら、拡散モデルやFlow Matchingを上回る生成品質を実現した。

拡散モデルのボトルネックをどう突破したか

連続信号を扱う生成AIは、2020年頃から拡散モデルの独壇場となってきた。しかし拡散モデルは、どれだけモデルの表現力を高めても、収束のために膨大なステップ数を必要とする推論上の天井を抱えていた。

例えば一般的なDDIMサンプラーでは、現在の入力とタイムステップから次のステップへ線形補間を行う。この線形性が1ステップあたりの表現能力を強く制限してしまっていた。

IMMのアプローチは明快だ。ネットワークに現在のタイムステップだけでなく、ジャンプ先となる「目標タイムステップ」も同時に渡す設計にした。

さらに、15年以上前に開発されたカーネル手法である最大平均不一致（MMD）を活用した。これにより、訓練が不安定になりがちだったConsistency Modelsとは異なり、単一の目的関数だけで多様な設定において安定して事前学習を行えるようになっている。

ベンチマーク性能と公開内容

検証結果において、IMMは拡散モデルと比較して10倍以上のサンプリング効率向上を記録した。

ImageNet 256x256のベンチマークでは、サンプリングステップ数を30分の1に減らしながら1.99のFIDスコアを達成し、拡散モデルの2.27やFlow Matchingの2.15を上回った。また、スクラッチから学習したCIFAR-10でも、わずか2ステップで1.98という極めて高いFIDを叩き出している。

LumaはすでにGitHub（lumalabs/imm）でソースコードと学習済みチェックポイントを公開した。ArXivでは技術論文と推論スケーリングに関するポジションペーパーの2本が閲覧できる。

なぜ重要か

画像や動画の生成モデルにおいて、推論コストとレイテンシは実用化を阻む最大の壁だった。多くの現場では事後的な蒸留によって高速化を図ってきたが、IMMは事前学習そのものを推論重視で再構築すれば、画質と速度の両立が可能であることを証明した。

基底モデルや画像生成の研究開発に携わっているなら、すぐに試す価値がある実装だ。何年も拡散モデル一強だった連続生成の事前学習パラダイムに、具体的な対抗軸を示した意義は大きい。