VideoJAM 影片生成框架：聯合建模外觀與運動，破解 AI 物理動態失真

現在的 AI 影片雖然畫面越來越精緻，但只要鏡頭裡的人跑動起來、物體發生碰撞，畫面往往就迅速露怯：肢體詭異扭曲，重力和慣性完全失靈。

根本原因在於，以往的影片擴散模型幾乎只盯著畫素重建在做功課。模型拼盡全力讓每一幀看起來高畫質、真實，結果卻犧牲了跨幀之間的物理規律與運動連貫性。

來自 Meta 等機構的研究人員聯合發表了一篇論文，提出了一個名為 VideoJAM 的影片生成新框架，試圖從底層解決這一頑疾。

左右腦同時開工：外觀與運動聯合建模

VideoJAM 的核心思路其實很直接：不能只讓模型學「長什麼樣」，還要強迫它學「怎麼動」。

整個框架由兩個相互配合的單元組成。在訓練階段，團隊沒有隻讓模型去預測下一幀的畫素，而是通過線性投影層將影片幀和其運動表徵共同加噪，打包成一個聯合潛表徵。

模型在處理擴散去噪時，需要從這個聯合表徵中同時預測出生成的畫素和對應的運動軌跡。說白了，就是把運動規律直接寫進模型的直覺裡，而不是生成完畫面再去縫補動態。

到了推理生成環節，VideoJAM 引入了一套叫做 Inner-Guidance 的內部引導機制。它不需要外界額外喂參考資料，而是直接把模型自己正在逐步演化的運動預測當作動態引導訊號，拉著畫面生成往符合物理連貫性的方向走。

幾乎不需要改資料，還能叫板商業巨頭

這個方案最聰明的地方在於通用性。VideoJAM 不需要重新洗資料，也不需要無休止地堆引數把模型做得更大，只需對現有影片擴散架構做極小的改動就能套用。

研究團隊基於開源的 DiT-30B 基座微調出了 VideoJAM-30B 模型。在一套專門考驗複雜物理與劇烈動作的測試基準上，它的運動連貫性表現直接拉滿。

不僅相比原來的 DiT-30B 有了明顯提升，在對比測評中，其動態連貫性甚至超越了 Sora、Kling 以及 Runway Gen-3 等目前第一梯隊的商業閉源模型，同時畫面的視覺質量也沒有打折。

論文已被第 42 屆國際機器學習大會（ICML 2025）接收，相關技術細節和對比樣本已經公開。

為什麼重要

對影片創作者和遊戲、特效行業來說，AI 影片最大的痛點從來不是畫質不夠清晰，而是動態不可控。哪怕靜止畫面再像電影，一個動作崩壞鏡頭就徹底廢掉。VideoJAM 證明了無需海量額外算力，只要調整學習目標，就能讓模型自己參透物理規律。

對整個開源模型生態而言，這更是個及時的武器。中小團隊和獨立開發者不可能像大廠那樣燒幾億美元去堆引數賭湧現。VideoJAM 的即插即用特性意味著開源社群可以低成本給現有的開源底座打上「物理補丁」，縮小與頂級商業模型的動態差距。

不過目前它依然停留在學術展示和基準測試層面，在長影片生成中的動作一致性以及在極端複雜場景下的泛化能力，還有待更多實戰檢驗。但至少它指明瞭一條路：想讓 AI 懂得真實世界，光教它畫畫不行，還得逼它學會物理。