跳到正文
IFAI

AIGC

Stability AI 发布 Stable Zero123:单图生成 3D 模型

首次发布 传播指数 39

Stability AI 推出 3D 模型 Stable Zero123,可从单张图片生成多视角并重构 3D 资产。相比前代 Zero123-XL,它优化了数据集与仰角条件,训练效率提升 40 倍。生成单视角显存与 SD1.5 相同,完整 3D 推荐 24GB 显存,权重已上线 Hugging Face。

Stability AI 发布 Stable Zero123:单图生成 3D 模型
图:stability.ai

Stable Zero123 是 Stability AI 内部训练的新视角生成模型,能把一张普通的 2D 平面图变成不同角度的连续视角,并进一步重构成带纹理的 3D 模型。

如果你手头只有一张概念设计草图或产品照片,它能替你脑补出物体转到侧面、背面甚至俯视时该长什么样。

它能做什么,怎么做到的

相比此前的开源标杆 Zero123-XL,Stable Zero123 在多视角一致性和几何结构还原上有明显进步。

它之所以表现更好,核心来自三个改进。

首先是训练数据集的大换血。团队从开源 3D 库 Objaverse 里清洗过滤掉大量低质资产,只保留高质量 3D 物体,并采用了比过去更逼真的光影渲染方式。

其次是引入了相机仰角条件。在训练和推理过程中,模型都会接收一个预估的拍摄视角高度,有了这个参考系,模型在预测未见角度时就不会瞎猜。

最后是工程优化。他们通过预先计算潜在特征,配合支持更大批次的数据加载器,让训练效率比 Zero123-XL 足足提升了 40 倍。

如果你想做一个纯文字生成 3D 的工作流,甚至可以先用 SDXL 跑出一张满意的 2D 效果图,再把图丢给 Stable Zero123 去生成 3D 物体。

硬件门槛与跑法

Stable Zero123 底层基于 Stable Diffusion 1.5 打造。

如果你只是用它生成单个角度的新视角图片,消耗的显存跟跑普通 SD1.5 完全一样,消费级显卡毫无压力。

但如果要把多视角图片真正重建为 3D 网格,门槛就上去了。官方通过更新开源项目 threestudio 来提供支持,利用分数蒸馏采样技术去优化 NeRF,最后再导出带纹理的 3D 资产。

这套完整的 3D 优化流程既耗时间又吃资源,官方建议至少配备 24GB 显存。

这次开源包含两个版本。主版本 Stable Zero123 混入了一部分带有 CC-BY-NC 协议的数据,仅限科研和非商用,权重已经放在 Hugging Face 供大家下载。

另一个商用版本叫 Stable Zero123C,只用了 CC-BY 和 CC0 数据训练。根据官方测试,两个版本的生成质量基本一致,但想要商用必须开通 Stability AI 的付费会员。

为什么重要

从单张图还原 3D 一直是游戏资产制作和工业设计里最麻烦的脏活累活。Stable Zero123 证明了在不改动太大网络架构的前提下,靠洗数据和引入几何先验,就能让 2D 扩散模型拥有更扎实的 3D 空间理解。

对独立游戏开发者和 3D 设计师来说,虽然 24GB 显存的完整重建要求依然把很多笔记本用户挡在门外,但只要有一张高配显卡,现在就已经能在本地搭建起一条从单图到 3D 模型的自动化流水线,非常值得技术型创作者动手折腾。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

话题追踪Stability AI 的 3D 生成模型开发

这个话题的历次新闻,最新的在上面。

  1. Stability AI 发布 Stable Video 3D:一张图生成 3D 网格与环绕视频
  2. Stability AI 联手 Tripo 开源 TripoSR:单图生 3D 不到半秒,无 GPU 也能跑
  3. Stability AI 发布 Stable Zero123:单图生成 3D 模型本条
  4. Stability AI 开启 Stable 3D 预览:几分钟把文字和图片做成 3D 模型

每日 AI 内容精选