跳到正文
IFAI

开源项目

英伟达发布世界模型 SANA-WM:单张 5090 可 34 秒生成 1 分钟视频

首次发布 传播指数 48

英伟达发布交互式世界模型 SANA-WM,仅 26 亿参数即可将单张图像转化为可键盘漫游的 720p 视频。其蒸馏版本在单张 RTX 5090 上仅需 34 秒即可生成 1 分钟片段。官方表示权重即将开源。

英伟达发布世界模型 SANA-WM:单张 5090 可 34 秒生成 1 分钟视频
图:arxiv.org

SANA-WM 是英伟达开发的一个开源交互式世界模型,参数量只有 26 亿(也有报道称为 28 亿),能让你用一张静态图片、一段文字提示词和键盘方向键,直接实时漫游出一个可交互的虚拟空间。

它的核心用途是视频生成与世界构建。以往的世界模型往往体量庞大,动辄需要多卡集群才能跑得动,而 SANA-WM 原生就面向 1 分钟长视频生成设计,输出规格为 720p 分辨率。

它能做什么

使用起来很简单,你给它一张初始图像,再输入一段文本描述,随后按下键盘上的方向键。模型会根据你的按键输入实时调整相机轨迹,把图像扩展成连续动作的视频。

视角控制支持第三人称跟随,也可以是第一人称视角。更关键的是它的空间一致性:如果你在场景中转头把视线移开,之后再看回来,原先的环境细节依然保持一致,说明它对场景保留了明确的持久记忆。

在生成速度上,团队提供了一个蒸馏变体。配合 NVFP4 量化,单张消费级 RTX 5090 显卡就可以在 34 秒内去噪生成一段完整的 60 秒 720p 视频片段。

根据官方测试,SANA-WM 在动作跟随精度上超越了现有的开源基准,在视觉质量接近 LingBot-World 和 HY-WorldPlay 等工业级基线模型的同时,吞吐量提升了 36 倍。

怎么做到的与开源情况

能跑在单卡上,主要得益于四个架构优化。它结合了门控 DeltaNet(GDN)与 Softmax 注意力的混合线性注意力机制,大幅降低了长序列的显存开销;搭配双分支相机控制实现精确的 6 自由度轨迹跟踪;再加上两阶段生成管线与专门的姿态标注管线。

训练成本也控制得极低。团队仅使用了约 21.3 万个带有相机姿态标注的公开视频片段,在 64 块 H100 显卡上花费 15 天就完成了全流程训练。

在开放程度上,英伟达目前已经发布了论文。官方页面表示模型权重与代码即将完全开源。

为什么重要

对于游戏开发者、虚拟仿真工程师或独立创作者来说,这相当于把原本昂贵的世界模型部署成本直接打到了消费级显卡级别。如果你的工作涉及生成 3D 场景漫游或游戏原型验证,非常值得在开源后第一时间上手测试。

我们认为,SANA-WM 最聪明的地方在于放弃了堆参数的蛮力路线,转而通过线性注意力与蒸馏量化攻克推理吞吐瓶颈。它证明了不需要数千张显卡常驻运算,依靠紧凑架构同样能在单张民用显卡上实现交互式世界生成。

来源 (1)

  1. [1]

每日 AI 内容精选