复旦与腾讯开源 Prism:原生 2K 音视频联合生成提速 2.5 倍
复旦大学、腾讯混元和浙江大学开源音视频生成框架 Prism,支持原生 2K 分辨率音视频联合生成。它通过动态稀疏注意力把算力集中在发声和画面快速变化区域,大幅减少冗余计算,训练速度提升 2.5 倍且声画更契合。目前已在 Hugging Face 释出预览权重与代码。
复旦大学、腾讯混元和浙江大学开源音视频生成框架 Prism,支持原生 2K 分辨率音视频联合生成。它通过动态稀疏注意力把算力集中在发声和画面快速变化区域,大幅减少冗余计算,训练速度提升 2.5 倍且声画更契合。目前已在 Hugging Face 释出预览权重与代码。
复旦大学团队提出实时流式数字人生成框架 Hallo-Live,能直接由文本同步合成语音与肖像视频。在两块 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延迟仅 0.94 秒。它将双流扩散与偏好引导蒸馏结合,解决了交互式数字人延迟高与音画脱节的痛点。
研究团队开源文字渲染框架 GlyphPrinter,专门解决图像生成中文字崩坏、缺笔少划的问题。它基于 FLUX.1-dev 并采用局部偏好优化,不仅能准确渲染中日韩泰等复杂字符,还能生成石碑刻纹等特殊符号。代码与权重均已开放。