Monarch RT 开源：单张 RTX 5090 跑出 16 FPS 实时视频生成

以前想用 AI 生成视频，基本等于开一台云端机器慢慢等进度条。至于每秒几十帧的「实时生成」，更是只有堆满顶级 GPU 的大厂数据中心才敢碰的奢侈配置。

名为 Monarch RT 的视频生成加速架构正式亮相，直接把这项门槛砸了下来。在单张消费级 RTX 5090 显卡上，它实现了每秒 16 帧（16 FPS）的真实画面实时生成。

项目完整代码和本地运行说明已经上线 GitHub，开发者现在就能把代码拉下来跑在本地硬件上。

拆解 3D 注意力的计算瓶颈

视频扩散模型之所以很难做实时，核心阻碍在于时空 3D 自注意力的二次方计算代价。特别是在少步数、自回归的实时生成场景下，每一步都要承载极高密度的信息，以前那些针对双向扩散设计的稀疏注意力很容易崩溃，导致误差一路累积。

研究团队发现，视频注意力并非随机稀疏，而是包含由时空位置决定的周期性结构，以及动态的语义对应。

基于这个规律，Monarch RT 使用了 Monarch 矩阵对视频注意力进行结构化因式分解。通过对齐块结构和平铺参数化设计，再加上专门手写的 Triton 内核，最终实现了高达 95% 的注意力稀疏度。

速度狂飙 4 倍，画质几乎没掉

有了这套内核加持，Monarch RT 在结合前沿视频生成模型 Self-Forcing 时，单张 RTX 5090 就能跑出 16 FPS 的实时表现。

在注意力计算层面，它的速度比标准 FlashAttention 快了近 4 倍。根据论文给出的测试数据，在 RTX 5090、H100 和 B200 上分别对比 FlashAttention-2、FlashAttention-3 和 FlashAttention-4，内核加速比在 1.4 到 11.8 倍之间。

更难得的是，提速并没有以画面崩坏为代价。对比测试显示，在相同提示词下，它能达到密集注意力满画质约 95% 的质量，肉眼对比几乎看不出明显差距。

为什么重要

我们认为，Monarch RT 最大的价值在于它把实时视频扩散模型从「云端专属」变成了「消费级可触达」。

虽然 RTX 5090 依然是一张价格高昂的旗舰显卡，但对于独立开发者、游戏工作室或小型创作团队来说，一张本地显卡和昂贵的数据中心集群相比，成本和部署门槛已经不在一个量级。

在技术思路上，这一步走得相当漂亮。它没有用粗暴的特征剪枝去赌画质不崩，而是从数学结构上利用 Monarch 矩阵来拟合视频时空周期的注意力规律，在大幅减负的同时保住了 95% 的视觉表现。

对整个行业而言，单卡 16 FPS 意味着交互式视频生成、实时虚拟角色渲染乃至动态游戏场景渲染正式推开了实用化的大门，下游开发者有了做实时产品的地基。不过目前的瓶颈依然在于硬件门槛偏高，接下来如果能将这种加速方案进一步下放到中端显卡，才算真正迎来实时视频的全民普及。