Monarch RT 開源：單張 RTX 5090 跑出 16 FPS 即時影片生成

以前想用 AI 生成影片，基本等於開一臺雲端機器慢慢等進度條。至於每秒幾十幀的「即時生成」，更是隻有堆滿頂級 GPU 的大廠資料中心才敢碰的奢侈配置。

名為 Monarch RT 的影片生成加速架構正式亮相，直接把這項門檻砸了下來。在單張消費級 RTX 5090 顯示卡上，它實現了每秒 16 幀（16 FPS）的真實畫面即時生成。

專案完整程式碼和本地執行說明已經上線 GitHub，開發者現在就能把程式碼拉下來跑在本地硬體上。

拆解 3D 注意力的計算瓶頸

影片擴散模型之所以很難做即時，核心阻礙在於時空 3D 自注意力的二次方計算代價。特別是在少步數、自迴歸的即時生成場景下，每一步都要承載極高密度的資訊，以前那些針對雙向擴散設計的稀疏注意力很容易崩潰，導致誤差一路累積。

研究團隊發現，影片注意力並非隨機稀疏，而是包含由時空位置決定的週期性結構，以及動態的語義對應。

基於這個規律，Monarch RT 使用了 Monarch 矩陣對影片注意力進行結構化因式分解。通過對齊塊結構和平鋪引數化設計，再加上專門手寫的 Triton 核心，最終實現了高達 95% 的注意力稀疏度。

速度狂飆 4 倍，畫質幾乎沒掉

有了這套核心加持，Monarch RT 在結合前沿影片生成模型 Self-Forcing 時，單張 RTX 5090 就能跑出 16 FPS 的即時表現。

在注意力計算層面，它的速度比標準 FlashAttention 快了近 4 倍。根據論文給出的測試資料，在 RTX 5090、H100 和 B200 上分別對比 FlashAttention-2、FlashAttention-3 和 FlashAttention-4，核心加速比在 1.4 到 11.8 倍之間。

更難得的是，提速並沒有以畫面崩壞為代價。對比測試顯示，在相同提示詞下，它能達到密集註意力滿畫質約 95% 的質量，肉眼對比幾乎看不出明顯差距。

為什麼重要

我們認為，Monarch RT 最大的價值在於它把即時影片擴散模型從「雲端專屬」變成了「消費級可觸達」。

雖然 RTX 5090 依然是一張價格高昂的旗艦顯示卡，但對於獨立開發者、遊戲工作室或小型創作團隊來說，一張本地顯示卡和昂貴的資料中心叢集相比，成本和部署門檻已經不在一個量級。

在技術思路上，這一步走得相當漂亮。它沒有用粗暴的特徵剪枝去賭畫質不崩，而是從數學結構上利用 Monarch 矩陣來擬合影片時空週期的注意力規律，在大幅減負的同時保住了 95% 的視覺表現。

對整個行業而言，單卡 16 FPS 意味著互動式影片生成、即時虛擬角色渲染乃至動態遊戲場景渲染正式推開了實用化的大門，下游開發者有了做即時產品的地基。不過目前的瓶頸依然在於硬體門檻偏高，接下來如果能將這種加速方案進一步下放到中端顯示卡，才算真正迎來即時影片的全民普及。