腾讯开源 3D 世界模型 HY-World 2.0:直接输出可编辑 3D 资产
腾讯混元团队开源 3D 世界模型 HY-World 2.0。与只生成像素视频的模型不同,它支持文本、图像或视频输入,能直接输出可导入 Unity、UE 等引擎的持久化网格与 3D 高斯点云,并支持带物理碰撞的自由交互与导航。
HY-World 2.0 是腾讯混元团队开源的多模态 3D 世界模型。它最直接的作用,就是把以前只能看、不能摸的 AI 生成视频,变成真正能塞进游戏引擎和机器人模拟器里的 3D 资产。
不管你给它一句文本提示词、单张图片、多角度图片,还是一段随手拍的视频,它都能直接生成网格(Mesh)或 3D 高斯泼溅(3DGS)资产,甚至支持带真实物理碰撞的第一人称与第三人称角色漫游。
它能做什么
以往像 Genie 3、Cosmos 或者腾讯早期的 HY-World 1.5,走的大多是「像素级视频生成」路线。说白了,那种世界模型更像是在实时播放一段视频,播完一分钟就没了,视角一晃还会疯狂闪烁穿模,而且交互一次就得算一次,显卡算力开销很大。
HY-World 2.0 换了一条完全不同的路子:它直接给你造一套可以永久保存的 3D 资产。
生成出来的场景具备天生的 3D 一致性,你可以把它当成一个真正的「可玩游戏关卡」,直接导入到 Blender、Unity、Unreal Engine 或者英伟达的 Isaac Sim 里二次编辑。
场景不仅能看,还能走进去。它支持第一人称漫游和第三人称角色操控,你在里面逛街道、进房间,遇到墙壁和障碍物都会触发真实的物理碰撞,不会凭空穿透。
除了从零生成,它还有一个核心本事是「真实世界重建」。随手拍一段日常视频或者几张照片喂给它,它能在单次前向推理中同时预测深度图、表面法线、相机参数、密集点云以及 3DGS 属性,直接还原出一个可交互的数字孪生场景,推理分辨率支持 5 万到 50 万像素。
怎么做到的与开源程度
HY-World 2.0 能做到一次性生成完整的 3D 场景,关键在于它的四阶段流水线。
第一步由全景生成模块 HY-Pano 2.0 根据文本或单图生成全景视野;第二步通过 WorldNav 进行相机轨迹规划;第三步由 WorldStereo 2.0 进行大范围的世界扩展;最后由约 12 亿参数的前向重建模型 WorldMirror 2.0 搭配 3DGS 学习完成最终的 3D 资产合成。
在开源节奏上,团队已经放出了技术报告以及部分核心代码与模型权重。其中用于多视角重建的 WorldMirror 2.0 模型权重与推理代码已开放,全景生成的 HY-Pano 2.0 与负责扩展的 WorldStereo 2.0 代码与权重也陆续上线。
你可以直接去 GitHub 仓库(Tencent-Hunyuan/HY-World-2.0)获取代码和 Hugging Face 权重,产品页面也提供了在线试玩体验。
为什么重要
对独立游戏开发者、3D 场景美术师和具身智能研究员来说,这个项目非常值得关注。
以往搭建一个具备物理碰撞的测试关卡或机器人仿真环境,需要大量手动建模与拓扑;HY-World 2.0 让从一段文字或一段实拍视频一键导出可用 3D 资产变成了现实,后续还能在 UE、Unity 里继续改,完全不浪费传统管线的资产积累。
我们认为,腾讯这一步走得很务实。很多大厂的世界模型还在卷生成更逼真的连续像素视频,但游戏工业和机器人领域真正渴求的从来不是一段不能编辑的 MP4,而是能导入引擎的网格和高斯点云。HY-World 2.0 把世界模型拉回了生产力工具的轨道,虽然大场景精细度和拓扑质量可能仍需要人工后处理,但它确实给 3D 工作流提供了一条极具杀伤力的捷径。
来源 (2)
- x.com(在新标签页打开)原文x.com
- github.com(在新标签页打开)报道github.com