Stability AI 推出 SPAR3D:单张图片 0.7 秒生成 3D 模型
Stability AI 联手 NVIDIA 在 CES 上推出 3D 生成模型 SPAR3D。它能从单张图片在 0.7 秒内生成完整 3D 网格,并支持在 0.3 秒内对点云进行实时修改。最值得关注的是,权重和代码已开源,并适用于 RTX AI PC 端侧运行。

SPAR3D(Stable Point Aware 3D)是一个能把单张 2D 图片直接变成 3D 资产的开源模型。从一张图片输入到生成完整的 3D 网格,整个过程只需要 0.7 秒;如果你对结构不满意,还能在点云层直接动手编辑,模型重新生成网格只要 0.3 秒。
这是 Stability AI 联手 NVIDIA 在 CES 上发布的新成果,专门针对游戏开发、产品设计和场景建模等快速原型制作场景。
它能做什么
大多数图像转 3D 工具最大的痛点是慢,而且背面往往是一团糊或者完全失真。SPAR3D 主打完整结构预测,即便输入的图片只展示了正面,它也能推测出背面等遮挡区域的几何形状,输出完整的 360 度细节。
另一个关键能力是可控编辑。模型生成的不是不可修改的黑盒网格,而是允许用户直接在点云层面操作。你可以直接删除、复制、拉伸点,或者添加新特征并重新着色。修改完成后,系统能在 0.3 秒内把调整后的点云实时烘焙回新的 3D 网格。
怎么做到的
SPAR3D 采用了一套两阶段架构,把回归建模的精度和生成式技术的灵活性结合在一起。
第一阶段由专门的点扩散模型(point diffusion model)负责,先根据输入图片快速构建物体的基础结构点云。
第二阶段交给三平面变换器(triplane transformer)。它将这个点云与原始图像的特征结合,生成高分辨率的三平面数据,最终重建出带有精确几何、纹理和光照的高质量网格。
怎么跑起来与授权方式
SPAR3D 针对 NVIDIA RTX AI PC 做了端侧优化,这意味着个人开发者在本地电脑上就能跑起这套工作流。
目前模型的权重已经在 Hugging Face 上线,推理代码开源在 GitHub,开发者也可以直接通过 Stability AI 官方 API 调用。
授权方面,它采用了 Stability AI Community License,非商用和商用均免费开放。只有年营收超过 100 万美元的企业,才需要联系官方购买企业授权。
为什么重要
在此之前,3D 资产生成要么需要数分钟的漫长等待,要么生成的模型千奇百怪、无法手动干预。SPAR3D 把生成时间压缩到 1 秒以内,同时还开放了点云级别的实时修改接口,这对独立游戏开发者和 3D 设计师来说非常划算,原型打样成本几乎降到了零。
不过,它生成的网格精度和纹理复杂度依然受限于单图输入的信息量,指望它直接替代工业级的高模雕刻还不现实。但如果你需要的是极速概念验证或游戏低模原型,它非常值得现在就拉到本地跑一跑。
来源 (1)
- stability.ai(在新标签页打开)原文stability.ai