Sony 提出影片音效模型 MMHNet:引入 Mamba 架構,為 5 分鐘長影片對齊聲音
Sony 團隊提出影片轉音訊生成架構 MMHNet,結合分層網路與 Mamba 架構生成超過 5 分鐘的連續音效。該方案解決了音畫長程對齊難題,實現「訓短測長」,在動作打點與鏡頭切換的貼合度上表現更好。目前該成果以論文形式公開。
Sony 團隊提出影片轉音訊生成架構 MMHNet,結合分層網路與 Mamba 架構生成超過 5 分鐘的連續音效。該方案解決了音畫長程對齊難題,實現「訓短測長」,在動作打點與鏡頭切換的貼合度上表現更好。目前該成果以論文形式公開。