MMPhysVideo 框架亮相：讓 AI 影片生成學會幾何與物理規律

讓 AI 生成一段杯子掉在地上摔碎的畫面，現在的影片模型很可能會讓杯子在半空融化，或者像果凍一樣在地上彈跳。畫面雖然越來越逼真，但只要涉及物理互動，AI 經常會露出馬腳。

研究團隊提出了一個名為 MMPhysVideo 的全新影片生成框架，專門解決影片擴散模型靠單純預測畫素所帶來的形變與穿幫問題。更關鍵的是，團隊計劃把程式碼和資料集完全開源。

不只看畫素，把幾何與軌跡畫進同一張圖

現在的影片模型之所以頻頻出現物理 bug，根源在於它們本質上是在做畫素重構。模型只知道這個位置的顏色該怎麼變，卻根本不知道畫面裡的物體到底有多重、幾何結構是什麼、運動受到什麼阻礙。

MMPhysVideo 的核心思路是多模態聯合建模。研究團隊沒有讓模型憑空去猜，而是把語義、三維幾何結構以及物體的時空軌跡等感知線索，統一轉換成了偽 RGB 格式。這樣一來，擴散模型就能直接像理解畫面一樣，理解場景背後的複雜物理動力學。

為了避免視覺畫面和物理訊號互相干擾，團隊設計了一個雙向控制教師架構。它用並行分支把 RGB 影像和感知處理徹底解耦，再通過兩個零初始化的控制鏈路，逐步學習畫素級的一致性。

為了不拖慢推理速度，他們還用表徵對齊技術，把教師模型掌握的物理先驗蒸餾進了一個單流學生模型。這意味著在生成影片時，模型不需要揹負額外的推理計算負擔。此外，配套的 MMPhysPipe 資料管線利用視覺語言模型定位物理主體，能自動化提取豐富的多模態物理資料。

為什麼重要

對影片創作者和遊戲開發者來說，AI 生成最大的門檻從來不是畫質不夠好，而是物體的不可控形變。如果杯子摔在地上能自然碎裂、車輛轉彎不會隨意拉長，工業級場景才真正敢用 AI 生成內容。而且專案承諾完全開源，未來各類商業影片工具大機率會迅速吸納這套思路。

對整個行業而言，過去大家總試圖通過堆算力和引數，讓大模型自己“悟”出物理世界執行規則，但事實證明純畫素學習的效率極低。MMPhysVideo 證明了顯式引入幾何與軌跡等結構化資訊，再借助知識蒸餾壓縮到輕量模型裡，是價效比高得多的路線。

我們認為，這項研究最聰明的地方在於統一的偽 RGB 表徵和蒸餾設計，既讓模型獲得了物理常識，又沒有增加推理開銷。不過，現實世界的物理現象極其複雜，流體碰撞、軟體形變和細微材質反應到底能還原到什麼程度，還有待開源後接受社群的實際檢驗。