復旦與騰訊開源 Prism：原生 2K 音影片聯合生成提速 2.5 倍

Prism 是復旦大學、騰訊混元和浙江大學聯合開源的音影片生成框架，專門用來解決超高畫質影片和環境聲音的原生聯合生成問題。它支援直接生成 720p、1080p 以及原生 2K 解析度的影片，同時輸出高度同步的配套音訊。

現在的影片生成模型一旦把解析度拉到 2K，計算量就會呈平方級爆炸。更麻煩的是，如果還要同步生成音訊，全注意力機制會把大量顯示卡算力浪費在畫面背景、靜止區域或沒有聲音的地方，導致訓練極慢甚至細節模糊。

動態稀疏注意力怎麼抓重點

Prism 的核心解法，是用動態稀疏注意力機制給計算做減法。它的邏輯可以簡單理解為抓重點，拒絕在無關畫素上平攤算力。

具體來說，Prism 把畫面的時空序列拆分成多個宏觀分割槽，然後通過影片特徵的通道方差，以及音訊對影片的交叉注意力範數，來即時評估每個區域的狀態。系統會動態算出兩個關鍵訊號：畫面哪個區域的運動變化最劇烈，以及哪個區域和當前音訊的關聯最緊密。

掌握這些資訊後，Prism 會給每個分割槽動態匹配不同的計算塊形狀，只在聲畫變化劇烈的核心區域進行高精度的細粒度劃分。整套機制把訓練速度提升了約 2.5 倍，而且由於算力沒有被背景噪點稀釋，生成的聲畫同步效果和畫面質量反而超過了傳統的全注意力訓練。

硬體要求與上手方式

Prism 目前已經在 Hugging Face 上線了 FrancisRing/Prism 倉庫，提供了完整的推理程式碼、資料預處理指令碼，以及 preview_alpha 和 preview_beta 兩套預覽版權重。

模型基於 MOVA-360p 作為基底，輸入端支援文本提示詞和參考圖片生成。在提示詞中，使用者還可以加入專門的結構化標籤來精確引導生成內容，比如音樂、音效或語音片段。

在硬體門檻上，由於面向的是原生 2K 級別的音影片生成，它對算力要求較高。執行環境需要 Python 3.10 以上、CUDA 12.4 和 FlashAttention。

針對 720p 解析度，單張 80GB 視訊記憶體的 GPU 配合 CPU 解除安裝和 DeepSpeed 可以勉強跑通推理；而要想生成 1080p 或 2K 影片，官方推薦使用多卡通過 FSDP 和序列並行來分攤視訊記憶體，同時開啟 VAE 空間分塊解碼以避免視訊記憶體溢位。

為什麼重要

在目前的影片生成領域，多數方案依然是先畫影片、後配音軌的拼盤模式，不僅容易出現對不上嘴型或動作與音效脫節的尷尬，二次合成也增加了流程鏈條。Prism 證明了直接端到端原生訓練 2K 音影片是可行的，而且通過合理的稀疏注意力設計，計算成本完全可以壓縮到工程可接受的範圍。

不過對於個人創作者或小型團隊來說，Prism 目前更像是一套給研究團隊和算力充足的機構準備的重型武器。單卡 80GB 的推理底線把大部分消費級顯示卡擋在門外，想要在實際工作流中完全落地，還需要等待社群後續的模型輕量化蒸餾或更激進的量化版本。