Stability AI 发布 Stable Video 4D：单段视频一键转出 8 个新视角

Stable Video 4D（简称 SV4D）是一个能把单视角物体视频转换成多视角视频的开源生成模型。你给它一段单个物体的普通视频，它就能从 8 个不同的相机角度，同时生成对应的视角视频。

生成出来的多视角画面不仅能直接拿来看，还能作为素材，在 20 到 25 分钟内进一步优化出这个物体完整的动态 3D 表征，也就是行业里常说的 4D 生成。

它能做什么

使用方式非常直接。你上传一段只包含单个物体的视频，并在输入端指定想要的 3D 相机位姿。

在单次推理中，SV4D 大约需要 40 秒，就能生成跨越 8 个视角的 5 帧视频画面。用户可以根据创意需求自定义相机的观察角度，得到全方位的视角覆盖。

拿到这 8 个视角的连续动态视频后，算法可以对物体的动态 3D 几何与纹理进行快速优化，免去了传统建模师一帧一帧摆姿势贴材质的繁琐流程。

怎么做到的

SV4D 建立在 Stability AI 之前的 Stable Video Diffusion 基础之上。上一代模型主要做图像转视频，而 SV4D 是该团队首个真正的视频到视频（Video-to-Video）模型。

以前做这类动态多视角生成，通常要把图像扩散模型、视频扩散模型和多视角扩散模型拼凑在一起采样。这种方案不仅流程沉重，还要借助复杂的得分蒸馏采样（SDS），很容易在不同视角或不同时间帧里出现画面穿帮和撕裂。

SV4D 换了个思路，让模型能够一次性并行生成多个视角的新视频。这样在模型内部就锁定了空间轴和时间轴上的一致性，外观不容易漂移，同时省掉了繁重的多模型 SDS 计算，把 4D 优化流程做得很轻量。

不过它目前也有明显短板。模型当前处于研究阶段，训练数据主要来自合成数据集。如果你喂给它背景复杂的真实世界实拍视频，生成效果可能大打折扣。

目前 SV4D 的权重和技术报告都已经发布在 Hugging Face 上，感兴趣的开发者可以直接去下载测试。

为什么重要

对从事游戏开发、影视特效和虚拟现实创作的团队来说，SV4D 很值得关注。虽然目前单次只能输出 5 帧短片段，还无法直接充当成品动画，但它把单张视频转化为动态 3D 资产的门槛大幅拉低了。

我们认为，这项技术最聪明的地方在于绕开了传统多模型拼接导致的严重时空撕裂，用一体化多视角生成把优化时间压缩到了半小时以内。在 3D 和 4D 资产自动化管线上，这一步迈得非常扎实。

当然，现阶段它更像是一个面向研究者和极客的技术预览版。受限于合成数据训练和单物体输入的设定，想要直接用在复杂的商业实拍中还不现实，但它给未来的动态 3D 内容生产指明了一条非常高效的路径。