跳到正文
IFAI

開源專案

阿里開源 PrismAudio:輸入無聲影片配音效,5 億引數 0.63 秒搞定

首次發布 傳播指數 48

阿里開源音效生成模型 PrismAudio。它將強化學習與思維鏈結合,先分析畫面再生成聲畫同步的音效。模型引數僅 5.18 億,生成 9 秒音訊只需 0.63 秒,在多項基準測試和生成速度上均優於 MM-Audio 等數十億引數競品。

PrismAudio 是阿里開源的環境音與音效生成模型,能直接給無聲影片自動補上跟畫面動作精準同步的聲音。

先思考後發聲的輕量模型

很多人用 AI 生成影片後,最頭疼的就是配音效。PrismAudio 解決的就是這個痛點,你餵給它一段無聲影片,它就能自動生成極其貼合畫面的環境音或動作聲,比如彈吉他時的琴絃撥動聲,時機卡得相當準確。

它的核心機制是把強化學習與思維鏈結合起來,讓模型先理解影片畫面的上下文並進行思考,再去生成匹配的音訊,保證聲畫同步和聲音細節的豐富度。

整個模型只有 5.18 億引數,體量非常小,但效率極高,生成 9 秒音訊只需要 0.63 秒。相比 MM Audio 和 Hunyuan Video Foley 這類動輒數十億引數的同類方案,PrismAudio 不僅速度更快,在多項基準指標上也拿到了更好的成績。

為什麼重要

如果你手頭經常有需要補聲音的無聲影片片段,或者在做 AI 影片工作流,PrismAudio 應該是目前綜合體驗最好的開源選擇之一。

我們認為它最亮眼的地方在於輕量化與推理速度。很多音效模型雖然效果過得去,但引數龐大、生成太慢,很難整合進日常影片管線。PrismAudio 用 5 億多引數跑出了極高的效率,證明了結合思維鏈的小模型在特定視聽任務上完全能打過大塊頭。

來源 (1)

  1. [1]
    youtube.com(在新分頁開啟)原文youtube.com

每日 AI 內容精選