RealWonder 開源:拉動箭頭施加外力,AI 即時生成受力運動影片
開源專案 RealWonder 釋出,支援在單張靜態圖片上施加虛擬外力,即時模擬物體在水流或風吹下的受力運動。它以物理模擬作為橋梁,在單張 H200 上達到 480p、13 幀/秒的生成速度。目前程式碼與模型權重均已開源。

RealWonder 是一個剛開源的即時影片生成系統,它能讓你在單張靜態圖片上直接施加虛擬外力,然後即時看物體怎麼運動。
普通影片模型最大的毛病是根本不懂 3D 物理規律,你讓它推一下杯子,畫面可能只是憑空閃爍或直接變形。RealWonder 則允許使用者像玩遊戲一樣在畫面里拉動箭頭,即時給物體施加推力、風力或水流阻力,模型立刻就會算出並生成物體隨之運動的連續畫面。
它能做什麼
只要丟給它一張靜止照片,你就能在畫面中進行互動式探索。
比如在水景照片裡指定一個受力方向,它就會即時生成物體順著水流漂移的動態;給一件掛著的衣服加上風向外力,衣服就會即時飄動起來。它甚至支援同時施加多個方向的外力,比如左邊推一下、右邊扯一下,它都能把合成後的運動邏輯畫出來。
除了施加外力,系統還支援模擬機械臂操作和相機運鏡視角變化。它適用的物理材質也挺全面,涵蓋了硬質剛體、可變形布料、水體流體以及沙石顆粒材料。
在生成速度上,它在單張 H200 顯示卡上能跑到 13.2 幀/秒,輸出解析度為 480x832。雖然 13 幀離極致流暢還有距離,但在影片生成領域,這已經基本踩進了可即時互動的門檻。
怎麼做到的
讓影片模型硬學物理受力往往會崩,RealWonder 聰明的地方在於引入了一套物理模擬中間層。
系統主要由三部分拼成:單圖 3D 重建、物理模擬器,以及一個蒸餾過的擴散影片生成器。它沒有讓神經網路去硬啃抽象的連續力學引數,而是先在 3D 空間裡用物理引擎做模擬,把外力翻譯成光流和 RGB 視覺表徵,再餵給影片生成模型。
影片生成端則把擴散步數壓縮到了極致,只需要 4 步擴散推理就能出圖。正是這一步蒸餾,才把原本極其耗時的生成過程拉到了 13 幀左右的即時速度。
目前 RealWonder 的程式碼和模型權重都已經公開發布在專案主頁和 GitHub 倉庫上,裡面包含了完整的模型權重下載和本地部署執行說明。
為什麼重要
我們認為 RealWonder 最有價值的地方,是為生成式影片找到了與真實互動繫結的落地方向。
它不再只是輸入提示詞抽卡看動畫,而是給機器人具身智慧訓練、AR/VR 互動以及物理模擬提供了一個低成本單圖互動的雛形。如果你在做具身智慧模擬或者即時互動式視覺應用,這個專案非常值得拉下來測測它的物理反饋精度。
不過門檻也很現實:單張 H200 才能跑到 13 幀,意味著普通消費級顯示卡短期內很難在本地跑出可用幀率。但它證明了用物理引擎為擴散模型帶路不僅走得通,而且能做到即時,同類項目後續很可能會快速跟進這條路線。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org