跳到正文
IFAI

开源项目

OpenAI 开源 3D 模型 Shap-E:一句话几秒生成 3D 网格与 NeRF

首次发布 传播指数 47

OpenAI 开源了 3D 生成模型 Shap-E,并在 GitHub 放出权重与推理代码。它能根据单条文本提示词在数秒内直接生成隐式函数参数,渲染出纹理网格和 NeRF。相比上一代 Point-E 它收敛更快、质量更优,不过目前还只擅长简单单物体生成。

OpenAI 开源 3D 模型 Shap-E:一句话几秒生成 3D 网格与 NeRF
图:analyticsindiamag.com

Shap-E 是 OpenAI 开源的 3D 生成模型。你只需要给它一句简单的英文提示词,它就能在几秒钟内直接生成带纹理的 3D 网格模型,或者可供多角度渲染的神经辐射场(NeRF)。

对于想快速生成 3D 粗模的开发者来说,它最大的好处就是开箱即用,代码和模型权重都已经放出来了。

它能做什么

传统的 3D 生成模型往往只能输出单一格式,而 Shap-E 走了一条新路子。它直接生成的是隐式函数的参数。

这意味着你拿到的同一个结果,既能直接转换为带纹理的 3D 几何网格,也可以当作 NeRF 来进行多视角连续渲染。

对比 OpenAI 之前推出的 Point-E,Shap-E 带来了很直观的体验升级。Point-E 输出的只是一堆稀疏散乱的点云,想要导入引擎还得经历复杂的后处理;而 Shap-E 几秒钟就能吐出成形的表面与贴图。

怎么做到的

按论文的介绍,Shap-E 的训练分成了两个阶段。

第一阶段,团队先训练了一个编码器,专门把各类 3D 资产确定性地映射到隐式函数的参数空间里。

第二阶段,他们在这个参数空间上训练了一个条件扩散模型,并喂给了它大量配对的文本与 3D 数据。

有意思的是,隐式函数参数对应的是一个更高维度的多表征空间,但 Shap-E 的收敛速度反而比之前的 Point-E 更快,生成样本的质量也相当或更胜一筹。

目前的限制与去哪体验

虽然生成速度飞快,但现在的 Shap-E 离实用资产还有一段距离。

首先是视觉质量。生成的 3D 模型看起来依然比较粗糙,有些边缘甚至带点像素感,质感并不精细。

其次是理解能力。它目前只擅长处理描述单一主体的简单提示词。如果你在提示词里塞进多个物体,或者组合好几种复杂属性,它往往很难把这些属性准确绑定到对应的几何体上。

但作为研究工具,它的门槛已经降得很低。OpenAI 已经在 GitHub 上公开了完整的代码仓库,里面包含模型权重、推理代码和示例,拉到本地就能跑起来。

为什么重要

对独立开发者和 3D 设计师来说,Shap-E 适合拿来当作概念草图工具。它现在的精度完全达不到商用或上线的标准,但几秒钟出一个带纹理的粗模,在前期构思阶段足够帮人快速定个型。

从技术路线上看,OpenAI 这一次走得挺聪明。它没在传统的点云扩散上硬耗,而是直接把扩散模型和隐式函数、NeRF 结合起来,证明了高维多表征生成不仅走得通,而且收敛更快。虽然离真正的「3D 版 DALL-E」还有不少坑要填,但它确实给开源社区趟出了一条实用的新路径。

来源 (1)

  1. [1]
    analyticsindiamag.com(在新标签页打开)原文analyticsindiamag.com

同类事件

过去类似的事,帮助理解这一条。

每日 AI 内容精选