騰訊開源 3D 世界模型 HY-World 2.0:直接輸出可編輯 3D 資產
騰訊混元團隊開源 3D 世界模型 HY-World 2.0。與只生成畫素影片的模型不同,它支援文本、影像或影片輸入,能直接輸出可匯入 Unity、UE 等引擎的持久化網格與 3D 高斯點雲,並支援帶物理碰撞的自由互動與導航。
HY-World 2.0 是騰訊混元團隊開源的多模態 3D 世界模型。它最直接的作用,就是把以前只能看、不能摸的 AI 生成影片,變成真正能塞進遊戲引擎和機器人模擬器裡的 3D 資產。
不管你給它一句文本提示詞、單張圖片、多角度圖片,還是一段隨手拍的影片,它都能直接生成網格(Mesh)或 3D 高斯潑濺(3DGS)資產,甚至支援帶真實物理碰撞的第一人稱與第三人稱角色漫遊。
它能做什麼
以往像 Genie 3、Cosmos 或者騰訊早期的 HY-World 1.5,走的大多是「畫素級影片生成」路線。說白了,那種世界模型更像是在即時播放一段影片,播完一分鐘就沒了,視角一晃還會瘋狂閃爍穿模,而且互動一次就得算一次,顯示卡算力開銷很大。
HY-World 2.0 換了一條完全不同的路子:它直接給你造一套可以永久儲存的 3D 資產。
生成出來的場景具備天生的 3D 一致性,你可以把它當成一個真正的「可玩遊戲關卡」,直接匯入到 Blender、Unity、Unreal Engine 或者輝達的 Isaac Sim 裡二次編輯。
場景不僅能看,還能走進去。它支援第一人稱漫遊和第三人稱角色操控,你在裡面逛街道、進房間,遇到牆壁和障礙物都會觸發真實的物理碰撞,不會憑空穿透。
除了從零生成,它還有一個核心本事是「真實世界重建」。隨手拍一段日常影片或者幾張照片餵給它,它能在單次前向推理中同時預測深度圖、表面法線、相機引數、密集點雲以及 3DGS 屬性,直接還原出一個可互動的數字孿生場景,推理解析度支援 5 萬到 50 萬畫素。
怎麼做到的與開源程度
HY-World 2.0 能做到一次性生成完整的 3D 場景,關鍵在於它的四階段流水線。
第一步由全景生成模組 HY-Pano 2.0 根據文本或單圖生成全景視野;第二步通過 WorldNav 進行相機軌跡規劃;第三步由 WorldStereo 2.0 進行大範圍的世界擴充套件;最後由約 12 億引數的前向重建模型 WorldMirror 2.0 搭配 3DGS 學習完成最終的 3D 資產合成。
在開源節奏上,團隊已經放出了技術報告以及部分核心程式碼與模型權重。其中用於多視角重建的 WorldMirror 2.0 模型權重與推理程式碼已開放,全景生成的 HY-Pano 2.0 與負責擴充套件的 WorldStereo 2.0 程式碼與權重也陸續上線。
你可以直接去 GitHub 倉庫(Tencent-Hunyuan/HY-World-2.0)獲取程式碼和 Hugging Face 權重,產品頁面也提供了線上試玩體驗。
為什麼重要
對獨立遊戲開發者、3D 場景美術師和具身智慧研究員來說,這個專案非常值得關注。
以往搭建一個具備物理碰撞的測試關卡或機器人模擬環境,需要大量手動建模與拓撲;HY-World 2.0 讓從一段文字或一段實拍影片一鍵匯出可用 3D 資產變成了現實,後續還能在 UE、Unity 裡繼續改,完全不浪費傳統管線的資產積累。
我們認為,騰訊這一步走得很務實。很多大廠的世界模型還在卷生成更逼真的連續畫素影片,但遊戲工業和機器人領域真正渴求的從來不是一段不能編輯的 MP4,而是能匯入引擎的網格和高斯點雲。HY-World 2.0 把世界模型拉回了生產力工具的軌道,雖然大場景精細度和拓撲質量可能仍需要人工後處理,但它確實給 3D 工作流提供了一條極具殺傷力的捷徑。
來源 (2)
- x.com(在新分頁開啟)原文x.com
- github.com(在新分頁開啟)報導github.com