微软开源 TRELLIS.2-4B：单图生成高精度 3D 资产，最快 3 秒出结果

TRELLIS.2-4B 是微软团队开源的 40 亿参数 3D 生成模型，专门用来把单张二维图片转换成高精度 3D 资产。和常见生成工具不同，它直接输出带有完整 PBR 材质贴图的 3D 网格，甚至能表现半透明质感，代码和权重都遵循宽松的 MIT 许可证公开发布。

它能做什么，怎么做到的

传统的单图转 3D 方法多半依赖 SDF 或 Flexicubes 等等值面场，遇到薄壁开表面或者复杂的非流形几何时很容易糊成一团，也没法处理复杂的透明材质。

TRELLIS.2-4B 换了一条路，提出了名为 O-Voxel 的无场稀疏体素结构，把几何形态与外观材质直接编码在一起。这种表示方法既能兼容任意拓扑结构，也可以在网格和体素之间实现毫秒到秒级的无损双向转换。

在模型架构上，它采用了 40 亿参数的 Flow-Matching Transformer，配合稀疏 3D VAE 实现了 16 倍空间下采样。把一个 1024³ 分辨率的 3D 资产压缩到约 9600 个潜空间 token，画质几乎看不出损失。

在英伟达 H100 显卡上测试，生成 512³ 分辨率的资产只需要大约 3 秒，1024³ 分辨率需要约 17 秒，即便拉满到 1536³ 分辨率也只要 60 秒左右。除了单图转 3D，它还支持给定 3D 白模和参考图来进行纹理贴图生成。

硬件要求与使用限制

想要本地跑起来，门槛不算低。模型目前只在 Linux 系统上做过完整测试，要求必须是显存不低于 24GB 的英伟达显卡，官方推荐在 A100 或 H100 上运行，软件环境需要 Python 3.8 以上以及 CUDA 12.4 工具包。

由于它是一个未经人类偏好对齐的预训练基座模型，生成风格完全取决于训练数据分布，想拿到特定艺术风格可能需要反复调试输入图片。另外，生成的原始网格偶尔会出现微小孔洞，如果用于 3D 打印这种要求严格水密几何的场景，需要配合官方提供的孔洞填补脚本做后处理。

模型权重已经托管在 Hugging Face，上个月下载量超过 240 万次，官方还提供了 Google Colab 和 Kaggle 的 Notebook，不想本地折腾依赖的开发者可以直接在线试用。

为什么重要

对于游戏独立开发者、影视概念设计师和 3D 资产创作者来说，TRELLIS.2-4B 最大的价值在于它把 3D 生成从玩具拉到了可生产管线里。过去很多模型生成的资产只能看正面，拓扑一团糟，还没有真实光影材质，而 TRELLIS.2 直接输出带法线、粗糙度和半透明通道的完整 PBR 网格，省去了大量手动重拓扑和烘焙材质的时间。

我们认为微软这次开源非常大方，不仅放出了 40 亿参数的基座权重，还把前后处理管线完整开源。虽然 24GB 显存把消费级单卡用户挡在门外，但以它在 H100 上几秒级的推理速度，小型团队完全可以通过云端部署搭一套高效的 3D 资产概念生成流水线。