Stability AI 发布 SV4D 2.0：单段视频直接转 4D 资产

Stable Video 4D 2.0（简称 SV4D 2.0）能把你随手拍的一段单角度视频，直接变成可以在三维空间里任意旋转、带有时序动态的 4D 资产。

Stability AI 正式发布了这个多视角视频扩散模型。和上一代相比，它最大的改进是彻底甩掉了多相机阵列和预处理流程。你不需要先准备多角度参考图，只要有一段以单一物体为中心的普通真实视频，它就能同时生成多个视角的动态帧并完成新视角合成。

它能做什么

对做内容的人来说，三维动态资产的建模一直是个体力活。SV4D 2.0 瞄准的就是这个痛点，试图把单镜头视频直接接入专业的制作管线。

比如在游戏开发中，你可以用它从单段动作视频直接渲染出角色的多视角 sprite sheet；在影视和虚拟世界制作里，它也能快速生成带动态效果的背景道具和辅助资产，省去大量人工对齐模型和绑骨骼的时间。

官方公布的基准测试里，SV4D 2.0 在四大指标上都拿下了第一。衡量图像保真度的 LPIPS、衡量多视角一致性的 FVD-V、衡量时间连贯性的 FVD-F，以及专门的 FV4D 综合指标，表现都全面优于 DreamGaussian4D、L4GM 和初代 SV4D。

在单纯的新视角合成任务上，它的表现也压过了 Diffusion^2 和此前的 SV3D，生成的画面明显更清晰，转角时的拉伸和模糊少了很多。

怎么做到的与局限

从单一视角脑补未见过的三维结构本来就极难，一旦物体动起来，前后帧的结构极容易崩解。SV4D 2.0 主要是靠两处改动稳住了画面。

首先是分阶段训练。团队先让模型在静态 3D 资产上学会理解立体几何，等骨架立稳之后，再接入时间轴训练动作，这样大幅减少了动态生成时的形变崩溃。

其次是重构了网络底层，引入了一种把 3D 空间和时间特征融在一起的 3D attention 机制。即使完全没有额外的参考视图，它也能在时间和空间两个维度上互相拉扯对齐，保持连贯。

另外，虽然模型是在合成数据上完成的专项训练，但它继承了预训练视频扩散模型里的现实世界先验，处理真实拍摄的物体时不容易失真。

不过它也并非完美无瑕。Stability AI 在公告里直言，如果视频中的主体运动幅度过大、动作太剧烈，生成出来的多角度画面依然可能出现局部的破面和伪影。

为什么重要

以往做动态 4D 资产，要么依赖昂贵的多目相机捕捉阵列，要么需要复杂的 Nerf 重建流程，门槛高得普通团队根本碰不起。SV4D 2.0 把输入条件压缩到了极简的一段单镜头视频，让独立开发者和小型 3D 工作室也能用低成本跑通动态资产生成。

更实在的是它的开源态度。Stability AI 依然采用了相对宽松的 Community License，商业和非商业用途全部放开。目前多视角生成模型的权重已经上架 Hugging Face，配套代码开源在 GitHub，4D 重建流程的技术细节也同步发在了 arXiv 论文里。如果你正在做轻量级游戏开发或者动态 3D 原型设计，现在就值得去拉下代码跑一跑自己的素材。