DeepMind 公佈 V2A 技術:看懂影片畫面,自動生成配樂與對白
Google DeepMind 公佈影片轉音訊(V2A)技術研究進展,能結合影片畫面與文本提示生成同步聲音。該系統基於擴散模型,無需手動對齊即可為靜音影片或老膠片搭配配樂、擬音與臺詞。不過目前口型同步等仍有侷限,模型尚未公開發布。
Google DeepMind 公佈影片轉音訊(V2A)技術研究進展,能結合影片畫面與文本提示生成同步聲音。該系統基於擴散模型,無需手動對齊即可為靜音影片或老膠片搭配配樂、擬音與臺詞。不過目前口型同步等仍有侷限,模型尚未公開發布。