OVOW 開源：一段普通影片，直接拆解成可物理模擬的 4D 場景

OVOW（One Video, One World）是一個無需額外訓練的 4D 場景重建系統，能把一段普通的單目影片或者一張單張圖片，直接拆解成帶動畫、而且能直接丟進物理引擎做模擬的 3D 資產。

以往從單目影片生成 3D 場景，拿到的往往是一整坨連在一起的網格，或者只是好看但無法互動的神經輻射場。OVOW 的思路不同，它會把影片裡的每一個物體獨立剝離出來，重建成互不粘連的水密網格，併為每個物體估計位姿軌跡與形變，最後打包成一個完整的帶動畫 GLB 檔案和 URDF 檔案，讓物理模擬器可以直接讀取。

它是怎麼把影片拆解成物理世界的

OVOW 並沒有訓練一個端到端的大模型，而是把目前頂尖的一批基礎模型串聯成了一個四階段流水線。

首先是場景理解與分割。系統呼叫 Qwen3-VL 識別場景裡的各個物體例項，並把它們分類為靜態、剛體或可形變物體；隨後用 SAM 3 提取逐幀畫素掩碼。

接下來是針對不同物體的網格重建。對於靜態和剛體物體，它用 FLUX.2 補全被遮擋的部分，再通過 Hi3DGen 進行單圖到 3D 的前向重建；對於可形變物體，則呼叫 Motion324 和混元生成保持拓撲一致的網格序列，並由 VGGT 輔助恢復真實尺度。

最後是位姿最佳化與物理裝配。系統通過 RoMa v2 與 FoundationPose 進行渲染匹配最佳化，解耦全域性 6-DoF 軌跡與區域性頂點形變。同時，系統會擬合地面並計算物體接觸支撐，補上 HDR 環境光照，確保物體在重力下能正常碰撞、靜止或傾倒。

硬體門檻與開源協議

跑通這套系統的代價不低。硬體上，它要求 Linux 系統、CUDA 12.1+ 環境，並強烈建議至少配備 40GB 視訊記憶體的 NVIDIA GPU，外加大約 120GB 磁碟空間。

在耗時方面，端到端處理一段 108 幀的短影片大約需要 19 到 22 分鐘。其中重型模型（如 SAM 3、FoundationPose、RoMa v2）支援常駐服務模式，模型只用在第一批載入一次，適合做大批次處理。

目前該專案已在 GitHub 開源。需要注意的是，儘管 OVOW 自身程式碼採用 MIT 許可證，但它打包集成了 NVIDIA FoundationPose、Meta SAM 3、CC-BY-NC 協議的 SpaTrackerV2 和 Motion324 等元件。因此整個倉庫屬於原始碼可用的非商業研究釋出，不能直接用於商用。

為什麼重要

如果你是做具身智慧、機器人模擬或者遊戲物理資產管線的開發者，OVOW 非常值得一試。它證明了不需要耗費巨資去訓練端到端 4D 大模型，光靠精細編排現有的視覺大模型，就能把現實世界影片快速轉化成模擬訓練場所需的結構化數字資產。

不過，它目前最大的限制在於極高的視訊記憶體開銷、複雜的跨模型環境依賴，以及非商業協議的束縛。對大多數個人開發者來說，它更像是一個展示模組化 4D 重建上限的技術參考，短期內直接落到工業生產管線還需要更輕量化的整合。