跳到正文
IFAI

開源專案

AudioX 開源:不到 6GB 的全能音訊模型,看影片切點自動配音

首次發布 傳播指數 68

統一音訊模型 AudioX 開原始碼,體積不到 6GB,可直接在消費級顯示卡本地跑。它支援文本、影像或影片輸入,能識別影片剪輯點對齊音效,還支援音訊修復和續寫;純音樂音質雖非頂尖,但多模態生成覆蓋極全。

AudioX 開源:不到 6GB 的全能音訊模型,看影片切點自動配音
圖:arxiv.org

給無聲影片配音和打點,向來是影片剪輯裡最耗時間的繁瑣活。

認準剪輯點自動對齊配音

AudioX 把文本、影像和影片統一放進了同一個生成框架。它最亮眼的地方不在於純音樂生成的單項音質——做做背景配樂夠用,但離錄音棚級水準還有差距——而在於對多模態時間線的把控。

扔給它一段無聲影片,它能識別出畫面裡的剪輯切點,跟著鏡頭切換生成對齊的音效。除了解讀畫面,它對文本音效生成的精細度控制也很高,比如可以精準執行「機槍連開兩發,短暫沉默,再出海浪聲」。

另外,它還支援音訊修復與續寫。中間刪掉一段聲音,它可以無縫補上人聲和掌聲;給一段前奏,也能按動作大片管絃樂的方向繼續往下擴。整個模型體積不到 6GB,在普通消費級顯示卡上就能跑原生代碼。

為什麼重要

我們認為,AudioX 的思路非常務實。以往創作者要在配樂、擬音、音訊修補之間來回切換好幾個工具,還要人工盯剪輯點對波形。

AudioX 沒去卷極高保真的純音樂生成,而是選擇用一個不到 6GB 的輕量模型包攬全套音畫對齊。對於個人剪輯師和小型遊戲團隊來說,這意味著可以在本地顯示卡上零成本搞定基礎音效鋪墊。

它證明了多模態音訊模型不一定要盲目拼引數量,能把音畫同步的時間軸和剪輯切點吃透,實用價值往往比單純生成一首歌大得多。

來源 (3)

  1. [1]
  2. [2]
  3. [3]

每日 AI 內容精選