復旦與騰訊開源 Prism:原生 2K 音影片聯合生成提速 2.5 倍
復旦大學、騰訊混元和浙江大學開源音影片生成框架 Prism,支援原生 2K 解析度音影片聯合生成。它通過動態稀疏注意力把算力集中在發聲和畫面快速變化區域,大幅減少冗餘計算,訓練速度提升 2.5 倍且聲畫更契合。目前已在 Hugging Face 釋出預覽權重與程式碼。
復旦大學、騰訊混元和浙江大學開源音影片生成框架 Prism,支援原生 2K 解析度音影片聯合生成。它通過動態稀疏注意力把算力集中在發聲和畫面快速變化區域,大幅減少冗餘計算,訓練速度提升 2.5 倍且聲畫更契合。目前已在 Hugging Face 釋出預覽權重與程式碼。
復旦大學團隊提出即時流式數字人生成框架 Hallo-Live,能直接由文本同步合成語音與肖像影片。在兩塊 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延遲僅 0.94 秒。它將雙流擴散與偏好引導蒸餾結合,解決了互動式數字人延遲高與音畫脫節的痛點。
研究團隊開源文字渲染框架 GlyphPrinter,專門解決影像生成中文字崩壞、缺筆少劃的問題。它基於 FLUX.1-dev 並採用區域性偏好最佳化,不僅能準確渲染中日韓泰等複雜字元,還能生成石碑刻紋等特殊符號。程式碼與權重均已開放。