Luma AI 提出 TVM：從零訓練提速 25 倍，影像生成僅需 4 步

生成一張高質量的 AI 圖片，以往的大模型通常得在後臺反覆計算幾十遍甚至上百遍。如果把這 100 次計算生生砍到只剩 4 次，而且畫質幾乎看不出區別，算力賬單能省下多少？

Luma AI 公佈了一套全新的生成模型訓練範式，取名叫終端速度匹配（Terminal Velocity Matching，簡稱 TVM）。

按照官方公佈的資料，完全用 TVM 從零開始預訓練的文生圖模型，只需要 4 步推理（即呼叫 4 次神經網路），就能達到傳統擴散模型跑 50 步加引導詞（共計 100 次網路呼叫）的效果。在保證生成質量完全一致的前提下，推理速度直接拉昇了 25 倍。

踢開 IMM 的絆腳石，搞定百億引數預訓練

目前主流的文生圖和影片生成模型，底層幾乎都在用擴散模型或流匹配（Flow Matching）。它們畫質確實好，但推銷成本高得嚇人，每一次生成都伴隨著漫長的等待和昂貴的算力消耗。

業內此前一直在尋找能幾步出圖的辦法。Luma 之前曾提出過一種叫歸納矩匹配（IMM）的技術，試圖在預訓練階段就賦予模型極速推理的能力。但 IMM 在實際工程落地時遇到了硬傷：它的訓練目標依賴多重取樣，而且極度依賴 FP16 高精度，一旦換成工業界更普遍採用的 BF16 格式就容易崩潰，根本沒法擴充套件到超大模型上。

TVM 正是針對這些痛點做出的突破。它不僅在理論上緊密貼合分佈匹配，而且將流匹配直接作為一種特例囊括其中，同時將訓練流程簡化為了單階段訓練。

最關鍵的工程突破在於，TVM 徹底擺脫了此前精度的束縛，可以輕鬆擴充套件到 100 億（10B+）引數以上的擴散 Transformer（DiT）模型預訓練中。

為什麼重要

對使用者來說，這意味著文生圖乃至影片生成的等待時間，未來很可能會從幾十秒壓縮到眨眼之間。如果 TVM 順利部署進 Luma 的正式產品，創作者生成高質量視覺素材的試錯成本將大幅下降。不過現在 Luma 只是放出了研究成果和對比示例，普通使用者和開發者暫時還沒法直接調 API 體驗。

對行業而言，TVM 把高效推理的戰場從後期的“模型蒸餾”直接前移到了“從零預訓練”。以前行業多半是先花大價錢訓出一個笨重緩慢的模型，再用各種蒸餾技巧壓縮到幾步出圖，容易損失畫面細節；而 TVM 證明了百億級模型在預訓練第一天就可以原生支援 4 步極速生成，這可能會逼著 Runway 和快手等做生成模型的對手重新審視底層訓練策略。

我們認為，Luma 這次最聰明的地方在於把工程可行性放在了理論之上。IMM 理論再漂亮，不支援 BF16 就無法融入現代 GPU 叢集的吞吐管線，而 TVM 解決了工程相容性，才讓超大模型的快速推理真正有了工業化底氣。

但這裡的隱患也同樣明顯。從零訓練一個 10B 級別的生成底模需要極大的資本投入，4 步生成雖然在常規場景中表現出色，但在極端複雜的多主體構圖或長影片時序連貫性上，會不會因為步數太少而丟失微小細節，看起來還需要未來更多端到端的大規模評測來檢驗。