本文へスキップ
IFAI

研究

Luma AI、新手法「TVM」を発表:学習速度25倍、わずか4ステップで画像生成

公開 拡散指数 31

Luma AIは単一ステージ学習フレームワーク「Terminal Velocity Matching(TVM)」を発表した。従来の拡散モデルと同等の品質を保ちながら学習速度を25倍に高速化し、100億パラメータ規模にも拡張可能。通常100回近く必要な推論をわずか4ステップに短縮できる。

Luma AI、新手法「TVM」を発表:学習速度25倍、わずか4ステップで画像生成
画像:lumalabs.ai

高品質なAI画像を1枚生成するために、モデルを数十回から100回近く呼び出す計算処理は、長らく業界の重い足かせでした。Luma AIが発表した新手法は、そのプロセスを一気に4回へ凝縮しようとしています。

Luma AIは推論時の計算効率を極限まで高める新しい単一ステージ学習パラダイム「Terminal Velocity Matching(TVM)」を発表しました。

TVMを使ってゼロから事前学習されたテキスト画像生成モデルは、わずか4ステップ(ニューラルネットワークの呼び出し4回)で、従来の標準的な拡散モデルが100回呼び出し(50ステップ×ガイダンス)を行って得ていた品質と同等の画像を生成できます。これにより、推論速度は一挙に25倍へと跳ね上がります。

IMMの壁を破り、100億パラメータ規模の学習へ

現在普及している画像や動画生成AIの多くは、拡散モデルやFlow Matchingに依存しています。これらは極めて高い表現力を持つ反面、サーバー側で何度もノイズ除去を繰り返す必要があり、運用コストが膨大になる難点を抱えていました。

Luma AIは以前、事前学習段階から少数ステップ生成を可能にするIMM(Inductive Moment Matching)を提案していました。しかしIMMには、マルチサンプルの学習目標が必要な点や、現代のAIインフラで標準的なBF16ではなくFP16精度に依存してしまうといった実用上の弱点があり、大規模な事前学習への適用が進みませんでした。

新技術のTVMは、Flow Matchingを特殊例として包含しつつ、分布マッチングの理論を単一ステージの学習へと再構築することでこの問題を解決しました。

最大の前進は、100億(10B)以上のパラメータを持つ拡散トランスフォーマー(DiT)に対しても、破綻することなく安定して事前学習をスケールさせられるようになった点です。

なぜ重要か

ユーザー視点で見れば、4ステップでの画像生成は待ち時間を劇的に減らし、ほぼリアルタイムな制作体験をもたらします。動画生成や高解像度画像の生成にかかるAPIコストが大幅に下がる恩恵も期待できます。ただし現時点では研究発表と生成サンプルの提示にとどまっており、すぐに手元の環境やウェブ上で試せる段階ではありません。

業界にとっては、生成の高速化アプローチが「事後的な蒸留」から「ゼロからの事前学習」へとシフトする契機になります。巨大で遅いモデルを作ってから後から削るのではなく、最初から4ステップで動く超巨大モデルを安定して作れる道筋が示されたためです。

私たちは、Luma AIがBF16対応をはじめとする現場の計算インフラの要件を最優先にしてTVMを組み上げた点を高く評価しています。どれほど理論が優れていても、現場のGPUクラスタで安定稼働しなければ普及しないからです。

一方で、4ステップという極限まで削ぎ落とした推論過程が、長時間の動画や極めて複雑な構図の指示において、多ステップ拡散特有の微細なニュアンスを完全に保持し続けられるのかどうかは、今後の実サービス展開における検証課題といえます。

情報源 (1)

  1. [1]
    lumalabs.ai(新しいタブで開きます)原文lumalabs.ai

毎日のAIピックアップ