跳到正文
IFAI

开源项目

阿里开源 PrismAudio:输入无声视频配音效,5 亿参数 0.63 秒搞定

首次发布 传播指数 48

阿里开源音效生成模型 PrismAudio。它将强化学习与思维链结合,先分析画面再生成声画同步的音效。模型参数仅 5.18 亿,生成 9 秒音频只需 0.63 秒,在多项基准测试和生成速度上均优于 MM-Audio 等数十亿参数竞品。

PrismAudio 是阿里开源的环境音与音效生成模型,能直接给无声视频自动补上跟画面动作精准同步的声音。

先思考后发声的轻量模型

很多人用 AI 生成视频后,最头疼的就是配音效。PrismAudio 解决的就是这个痛点,你喂给它一段无声视频,它就能自动生成极其贴合画面的环境音或动作声,比如弹吉他时的琴弦拨动声,时机卡得相当准确。

它的核心机制是把强化学习与思维链结合起来,让模型先理解视频画面的上下文并进行思考,再去生成匹配的音频,保证声画同步和声音细节的丰富度。

整个模型只有 5.18 亿参数,体量非常小,但效率极高,生成 9 秒音频只需要 0.63 秒。相比 MM Audio 和 Hunyuan Video Foley 这类动辄数十亿参数的同类方案,PrismAudio 不仅速度更快,在多项基准指标上也拿到了更好的成绩。

为什么重要

如果你手头经常有需要补声音的无声视频片段,或者在做 AI 视频工作流,PrismAudio 应该是目前综合体验最好的开源选择之一。

我们认为它最亮眼的地方在于轻量化与推理速度。很多音效模型虽然效果过得去,但参数庞大、生成太慢,很难整合进日常视频管线。PrismAudio 用 5 亿多参数跑出了极高的效率,证明了结合思维链的小模型在特定视听任务上完全能打过大块头。

来源 (1)

  1. [1]
    youtube.com(在新标签页打开)原文youtube.com

每日 AI 内容精选