阿里開源 PrismAudio:輸入無聲影片配音效,5 億引數 0.63 秒搞定
阿里開源音效生成模型 PrismAudio。它將強化學習與思維鏈結合,先分析畫面再生成聲畫同步的音效。模型引數僅 5.18 億,生成 9 秒音訊只需 0.63 秒,在多項基準測試和生成速度上均優於 MM-Audio 等數十億引數競品。
阿里開源音效生成模型 PrismAudio。它將強化學習與思維鏈結合,先分析畫面再生成聲畫同步的音效。模型引數僅 5.18 億,生成 9 秒音訊只需 0.63 秒,在多項基準測試和生成速度上均優於 MM-Audio 等數十億引數競品。