UniSH 開源：僅憑一段普通影片，前向跑出 3D 場景與動態人體

UniSH 是一個能從單段普通影片中同時重建 3D 場景與動態人體的開源框架。你只需要給它喂一段實拍影片，它通過一次前向推理，就能把背景結構和動態人物同步抽取出來。

它能做什麼

從一段普通的影片輸入開始，UniSH 能一次性推斷出四層核心資訊：周圍場景的 3D 結構點雲、相機的移動軌跡與引數、帶真實公制尺度的 SMPL 動態人體網格，以及人體自身的精細點雲。

由於所有資料都在同一個統一空間裡生成，人物和背景不會出現懸浮或穿模錯位的問題。

哪怕你的拍攝鏡頭非常晃動，或者影片裡的人物動作幅度大、姿態複雜，UniSH 也能輸出相對穩定的時序軌跡，允許你從任意視角自由環顧整個動態三維場景。

它是怎麼做到的

以前做類似的事情通常很割裂：要麼單獨建背景場景，要麼只估計人體姿態，拼在一起時尺度和空間關係往往全亂了套。此外，真實世界裡帶高精度 3D 標註的影片資料極少，模型如果全靠合成數據訓練，一放到野外實拍影片就會嚴重失真。

UniSH 放棄了傳統方案那種針對單段影片反覆計算、迭代調整的慢速最佳化邏輯，直接做成了一步到位的純前向推斷架構。

為了讓模型在沒有大規模標註的真實影片上也能泛化，團隊設計了兩套核心機制。

第一是高頻特徵蒸餾。框架藉助成熟的專家深度模型，把精細的人體表面細節蒸餾過來，大幅提升人體表面的幾何精度。

第二是兩階段監督方案。模型先用合成數據學習粗略的空間定位，隨後直接在無標註的真實世界影片上微調，通過強制最佳化 SMPL 骨骼網格與人體點雲之間的幾何對應關係，把合成數據到真實場景的差距抹平了。

怎麼跑起來

UniSH 的完整程式碼已經發布在 GitHub 上，專案主頁也給出了離線安裝和本地執行說明。

開發者可以直接克隆倉庫，按照環境指引配置依賴，在本地機器上執行影片推理並匯出對應的 3D 場景點雲與人體姿態資料。

為什麼重要

對於從事遊戲資產生成、XR 虛擬現實以及具身智慧感知的開發者來說，UniSH 拿掉了一道很繁瑣的工序。過去把人與環境融合建造成三維模型，不僅步驟多，而且不同工具之間的尺度對齊極難調整，UniSH 證明了端到端一次跑出人和場景是可行的。

更關鍵的是效率。和傳統耗時數十秒甚至幾十分鐘的單場景最佳化演算法相比，前向推理在速度上具備壓倒性優勢。如果你手頭有包含人體互動的實拍影片需要快速生成 3D 資產，UniSH 非常值得現在拉到本地測試一番。