跳到正文
IFAI

AIGC

Stability AI 推出 SPAR3D:单张图片 0.7 秒生成 3D 模型

首次发布 传播指数 41

Stability AI 联手 NVIDIA 在 CES 上推出 3D 生成模型 SPAR3D。它能从单张图片在 0.7 秒内生成完整 3D 网格,并支持在 0.3 秒内对点云进行实时修改。最值得关注的是,权重和代码已开源,并适用于 RTX AI PC 端侧运行。

Stability AI 推出 SPAR3D:单张图片 0.7 秒生成 3D 模型
图:stability.ai

SPAR3D(Stable Point Aware 3D)是一个能把单张 2D 图片直接变成 3D 资产的开源模型。从一张图片输入到生成完整的 3D 网格,整个过程只需要 0.7 秒;如果你对结构不满意,还能在点云层直接动手编辑,模型重新生成网格只要 0.3 秒。

这是 Stability AI 联手 NVIDIA 在 CES 上发布的新成果,专门针对游戏开发、产品设计和场景建模等快速原型制作场景。

它能做什么

大多数图像转 3D 工具最大的痛点是慢,而且背面往往是一团糊或者完全失真。SPAR3D 主打完整结构预测,即便输入的图片只展示了正面,它也能推测出背面等遮挡区域的几何形状,输出完整的 360 度细节。

另一个关键能力是可控编辑。模型生成的不是不可修改的黑盒网格,而是允许用户直接在点云层面操作。你可以直接删除、复制、拉伸点,或者添加新特征并重新着色。修改完成后,系统能在 0.3 秒内把调整后的点云实时烘焙回新的 3D 网格。

怎么做到的

SPAR3D 采用了一套两阶段架构,把回归建模的精度和生成式技术的灵活性结合在一起。

第一阶段由专门的点扩散模型(point diffusion model)负责,先根据输入图片快速构建物体的基础结构点云。

第二阶段交给三平面变换器(triplane transformer)。它将这个点云与原始图像的特征结合,生成高分辨率的三平面数据,最终重建出带有精确几何、纹理和光照的高质量网格。

怎么跑起来与授权方式

SPAR3D 针对 NVIDIA RTX AI PC 做了端侧优化,这意味着个人开发者在本地电脑上就能跑起这套工作流。

目前模型的权重已经在 Hugging Face 上线,推理代码开源在 GitHub,开发者也可以直接通过 Stability AI 官方 API 调用。

授权方面,它采用了 Stability AI Community License,非商用和商用均免费开放。只有年营收超过 100 万美元的企业,才需要联系官方购买企业授权。

为什么重要

在此之前,3D 资产生成要么需要数分钟的漫长等待,要么生成的模型千奇百怪、无法手动干预。SPAR3D 把生成时间压缩到 1 秒以内,同时还开放了点云级别的实时修改接口,这对独立游戏开发者和 3D 设计师来说非常划算,原型打样成本几乎降到了零。

不过,它生成的网格精度和纹理复杂度依然受限于单图输入的信息量,指望它直接替代工业级的高模雕刻还不现实。但如果你需要的是极速概念验证或游戏低模原型,它非常值得现在就拉到本地跑一跑。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

每日 AI 内容精选