SANA-Streaming 开源：RTX 5090 上跑满 24 帧，一分钟视频实时修改

想用 AI 给一段视频里的人换件衣服、把晴天改成雨天，以往的流程大多是上传素材、输入提示词，然后喝杯咖啡等上好几分钟。

如果视频一边在屏幕上播放，AI 一边就把下一帧修改完递给你呢？

NVIDIA 开源了名为 SANA-Streaming 的实时视频编辑系统。这是一个仅有 20 亿（2B）参数的扩散模型（DiT），专为一分钟级别的高清视频实时修改而设计。

只要给一段原视频加一句文字指令，它就能在保留人物动作和原始背景结构的同时，实时替换指定的服装、场景风格与物体。

边播边改，不用重新算整段视频

以往基于扩散模型的视频编辑，最让人头疼的是长序列计算。模型必须前瞻后顾整段视频，显存分分钟爆掉，根本谈不上实时。

SANA-Streaming 换了一套混合架构。它把线性循环单元 Gated DeltaNet 和传统的注意力机制交织在一起，既有紧凑的长程历史记忆，又能看清当前画面的局部细节。

配合流式分块生成和状态缓存技术，它不再一次性吃下整段长视频，而是像流水线一样一段一段往前推。

为了防止视频改着改着画面走样，团队还加入了循环反向正则化训练。模型不仅要把原画改成目标效果，还要能根据修改后的画面反推出原图。

通过这种双向约束，视频里的主体动作和未编辑区域被牢牢锁定，避免了常见的画面漂移和频闪问题。

RTX 5090 上跑满 24 帧

除了架构精巧，工程层面的榨干算力同样是看点。

论文通过算子融合与混合精度量化，硬生生把这套系统塞进了单张消费级显卡。

在 RTX 5090 上，它跑 1280×704 分辨率时，DiT 生成速度达到 58 FPS，整套端到端处理速度稳定在 24 FPS，跨过了实时视频播放的门槛。

目前 NVIDIA 已经在 GitHub 上公开了完整代码，Hugging Face 上也放出了双向短视频模型与一分钟长视频流式模型的权重。

开发者只要准备好对应的 PyTorch 环境，就能在本地直接运行 5 秒短片段或 1 分钟长视频的流式编辑脚本。

为什么重要

对创作者来说，这把视频生成从开盲盒式的离线渲染，拉进了所见即所得的交互时代。换背景或改画风就像拖动调色滑块一样直接，反馈是实时的。

对行业而言，它给视频大模型卷参数的狂热降了降温。SANA-Streaming 证明了只要混合记忆和推理管线设计得当，2B 级别的小模型不仅省显存，还能跑出大模型给不了的高帧率。

我们认为 NVIDIA 这次做得很聪明。它没有去拼那些宏大但不可控的文生视频概念，而是盯紧了视频二次编辑这个实际刚需，还顺手帮自家的旗舰显卡秀了一把肌肉。

不过门槛依然摆在那里。想要体验原汁原味的 24 帧实时流式编辑，普通用户依然需要顶级的单卡硬件；要走向大众创作工具，还得看后续更轻量的量化方案落地。