复旦与腾讯开源 Prism：原生 2K 音视频联合生成提速 2.5 倍

Prism 是复旦大学、腾讯混元和浙江大学联合开源的音视频生成框架，专门用来解决超高清视频和环境声音的原生联合生成问题。它支持直接生成 720p、1080p 以及原生 2K 分辨率的视频，同时输出高度同步的配套音频。

现在的视频生成模型一旦把分辨率拉到 2K，计算量就会呈平方级爆炸。更麻烦的是，如果还要同步生成音频，全注意力机制会把大量显卡算力浪费在画面背景、静止区域或没有声音的地方，导致训练极慢甚至细节模糊。

动态稀疏注意力怎么抓重点

Prism 的核心解法，是用动态稀疏注意力机制给计算做减法。它的逻辑可以简单理解为抓重点，拒绝在无关像素上平摊算力。

具体来说，Prism 把画面的时空序列拆分成多个宏观分区，然后通过视频特征的通道方差，以及音频对视频的交叉注意力范数，来实时评估每个区域的状态。系统会动态算出两个关键信号：画面哪个区域的运动变化最剧烈，以及哪个区域和当前音频的关联最紧密。

掌握这些信息后，Prism 会给每个分区动态匹配不同的计算块形状，只在声画变化剧烈的核心区域进行高精度的细粒度划分。整套机制把训练速度提升了约 2.5 倍，而且由于算力没有被背景噪点稀释，生成的声画同步效果和画面质量反而超过了传统的全注意力训练。

硬件要求与上手方式

Prism 目前已经在 Hugging Face 上线了 FrancisRing/Prism 仓库，提供了完整的推理代码、数据预处理脚本，以及 preview_alpha 和 preview_beta 两套预览版权重。

模型基于 MOVA-360p 作为基底，输入端支持文本提示词和参考图片生成。在提示词中，用户还可以加入专门的结构化标签来精确引导生成内容，比如音乐、音效或语音片段。

在硬件门槛上，由于面向的是原生 2K 级别的音视频生成，它对算力要求较高。运行环境需要 Python 3.10 以上、CUDA 12.4 和 FlashAttention。

针对 720p 分辨率，单张 80GB 显存的 GPU 配合 CPU 卸载和 DeepSpeed 可以勉强跑通推理；而要想生成 1080p 或 2K 视频，官方推荐使用多卡通过 FSDP 和序列并行来分摊显存，同时开启 VAE 空间分块解码以避免显存溢出。

为什么重要

在目前的视频生成领域，多数方案依然是先画视频、后配音轨的拼盘模式，不仅容易出现对不上嘴型或动作与音效脱节的尴尬，二次合成也增加了流程链条。Prism 证明了直接端到端原生训练 2K 音视频是可行的，而且通过合理的稀疏注意力设计，计算成本完全可以压缩到工程可接受的范围。

不过对于个人创作者或小型团队来说，Prism 目前更像是一套给研究团队和算力充足的机构准备的重型武器。单卡 80GB 的推理底线把大部分消费级显卡挡在门外，想要在实际工作流中完全落地，还需要等待社区后续的模型轻量化蒸馏或更激进的量化版本。