跳到正文
IFAI

开源项目

Stability AI 联手 Tripo 开源 TripoSR:单图生 3D 不到半秒,无 GPU 也能跑

首次发布 传播指数 49

Stability AI 联手 Tripo AI 推出开源 3D 重建模型 TripoSR。它能根据单张图片在 0.5 秒内生成带纹理的 3D 模型,即便没有独立显卡也能运行。代码与权重采用 MIT 协议开源在 GitHub 和 Hugging Face,允许商用。

Stability AI 联手 Tripo 开源 TripoSR:单图生 3D 不到半秒,无 GPU 也能跑
图:stability.ai

TripoSR 是 Stability AI 和 Tripo AI 联手开源的 3D 快速重建工具,核心能力就一句话:喂给它一张单视角的 2D 图片,不到一秒就能吐出一个带纹理的 3D 网格模型。

它的最大特点就是快和轻。在英伟达 A100 显卡上测试时,TripoSR 生成一个草稿级 3D 资产仅需大概 0.5 秒;更难得的是,它在极低的算力预算下也能跑,即便电脑没有独立显卡,只靠 CPU 同样可以顺利完成重建。

它能做什么,怎么做到的

对于游戏制作、工业设计、建筑概念图和数字娱乐从业者来说,把概念平面图转成 3D 往往是一道繁琐的工序。TripoSR 的目标不是一步到位生成影视级精细模型,而是以极快的速度给出一个立即可用的三维雏形。

在生成效果上,官方对比测试显示,它的输出质量和生成速度都明显胜过 OpenLRM 等现有的开源单图生 3D 模型。

在技术架构上,TripoSR 是在开源模型 LRM(单图到 3D 大型重建模型)的基础上改进而来的。团队针对基础 LRM 进行了多项针对性优化,包括调整网络通道数以压榨计算性能、引入掩码监督,以及改用效率更高的裁剪渲染策略。

在训练数据方面,团队从 Objaverse 数据集中精选了符合 CC-BY 授权的高质量子集,并结合了多样化的数据渲染技术,让生成的虚拟图像更加贴近现实世界的图像分布,从而大幅提升了模型在面对各种现实物体时的泛化能力。

怎么跑起来与开放程度

这次双方的开源非常彻底,代码和权重都没有藏私。

项目完整源码已经托管在 Tripo AI 的 GitHub 上,模型权重也可以直接在 Hugging Face 页面下载。更关键的是,它采用的是完全开放的 MIT 许可证,明确允许个人娱乐、学术研究以及任何形式的商业集成。

在运行环境上,它对硬件极其宽容。你既可以把它部署在配有高性能 GPU 的服务器上榨出半秒以内的极限速度,也可以在本地无 GPU 的低配设备上运行,降低了本地部署和尝试的门槛。

为什么重要

对于独立游戏开发者、3D 建模师和创意设计人员来说,TripoSR 非常值得马上装进自己的工具箱。虽然它输出的是草稿级模型,布线和纹理细节后续仍需微调,但 0.5 秒的极速反馈意味着你可以实时预览各种创意变体,把它无缝嵌进前期的概念验证流程中。

我们认为,TripoSR 走了一条非常聪明的路线。之前的很多 3D 生成模型一味追求细节,导致推理动辄耗时数分钟且极度依赖高规格显卡;TripoSR 则选择牺牲一部分极度精细的边缘表现,换取了能在 CPU 上跑的极致轻量与商用友好的 MIT 授权。这让单图生 3D 真正从只能在云端演示的 Demo,变成了任何开发者都能随便调用的生产力基础模块。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

话题追踪Stability AI 的 3D 生成模型开发

这个话题的历次新闻,最新的在上面。

  1. Stability AI 发布 Stable Video 3D:一张图生成 3D 网格与环绕视频
  2. Stability AI 联手 Tripo 开源 TripoSR:单图生 3D 不到半秒,无 GPU 也能跑本条
  3. Stability AI 发布 Stable Zero123:单图生成 3D 模型
  4. Stability AI 开启 Stable 3D 预览:几分钟把文字和图片做成 3D 模型

每日 AI 内容精选