跳到正文
IFAI

开源项目

Stability AI 发布 Stable Video 3D:一张图生成 3D 网格与环绕视频

首次发布 传播指数 47

Stability AI 推出 3D 生成模型 Stable Video 3D(SV3D),能从单张图片生成多视角环绕视频并重建 3D 网格。模型显著提升了视角一致性,提供自动环绕与指定轨迹两个版本。非商业权重已在 Hugging Face 开源,商用需开通会员。

Stability AI 发布 Stable Video 3D:一张图生成 3D 网格与环绕视频
图:stability.ai

Stable Video 3D(简称 SV3D)是一个能把单张二维物体图片直接变成多视角环绕视频、甚至完整 3D 网格的模型。它由 Stability AI 基于视频生成底座改造而来,专门解决以往单图生成 3D 时视角容易变形、画面不连贯的毛病。

它能做什么

你只需要给它一张物体的静态图片,SV3D 就能自动推断出该物体在其他角度的长相,并输出一段平滑的环绕观察视频。

模型这次提供了两个版本。基础版 SV3D_u 适合无脑上手,直接输入单张图,它会自动生成一段标准的环形轨道绕拍视频,不需要输入任何相机参数。

另一个进阶版 SV3D_p 则具备更强的机位控制能力。它不仅接收单张图,还能由用户指定相机运镜轨迹,生成沿着特定摄影机路径移动的 3D 视频。

更关键的是,SV3D 的输出不只是多张图片或视频,它还能配合 3D 优化管线,直接输出高质量的神经辐射场(NeRF)和可用于渲染引擎的 3D 网格模型。

它是怎么做到的

以往像 Stable Zero123 这样的工具,本质上是靠静态图像扩散模型去强猜其他视角,经常出现换个角度物体结构就对不上的情况。

SV3D 换了个聪明思路:改用视频扩散模型 Stable Video Diffusion 作为基础,并引入相机轨迹条件控制。视频模型本身就掌握时间上的画面连续性,搬到空间多视角上,自然拥有了极高的一致性和泛化能力。

在生成 3D 网格时,团队设计了掩码分数蒸馏采样(masked SDS)损失函数,专门修补那些视野盲区里的盲点与几何破损。

为了避免现实光影干扰,它还引入了解耦光照模型,把环境光照与物体原本的几何形状、纹理分开优化,防止原图里的阴影和高光被「烘死」在 3D 贴图上。官方测试显示,SV3D 的输出质量明显好于 Stable Zero123、Zero123-XL 以及 EscherNet。

开放程度与门槛

代码与权重已经上线。非商业研究用途的用户可以直接在 Hugging Face 下载模型权重,并查阅配套的技术研究报告。

如果你想把它集成到商业项目或商用管线中,则需要订阅 Stability AI 的商业会员(Membership)。

硬件方面,跑这类视频扩散与 3D 优化模型通常需要显存充裕的桌面或云端 GPU,算力门槛比跑普通文生图高出不少。

为什么重要

我们认为,SV3D 代表了 3D 内容生成管线的一次重要拐点:用视频生成大模型来给 3D 建模当「空间理解底座」。这避开了单张图拼凑视角的别扭做法,对独立游戏开发者、电商 3D 展示和影视前期概念设计来说,极大地降低了原型资产的制作成本。

不过也需要看到,模型目前的核心优势仍然集中在孤立物体的多视角重建上,面对复杂多物体构图或超精细工业级网格,依然需要人工二次拓扑与修整。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

话题追踪Stability AI 的 3D 生成模型开发

这个话题的历次新闻,最新的在上面。

  1. Stability AI 发布 Stable Video 3D:一张图生成 3D 网格与环绕视频本条
  2. Stability AI 联手 Tripo 开源 TripoSR:单图生 3D 不到半秒,无 GPU 也能跑
  3. Stability AI 发布 Stable Zero123:单图生成 3D 模型
  4. Stability AI 开启 Stable 3D 预览:几分钟把文字和图片做成 3D 模型

每日 AI 内容精选