AudioX 開源:不到 6GB 的全能音訊模型,看影片切點自動配音
統一音訊模型 AudioX 開原始碼,體積不到 6GB,可直接在消費級顯示卡本地跑。它支援文本、影像或影片輸入,能識別影片剪輯點對齊音效,還支援音訊修復和續寫;純音樂音質雖非頂尖,但多模態生成覆蓋極全。

給無聲影片配音和打點,向來是影片剪輯裡最耗時間的繁瑣活。
認準剪輯點自動對齊配音
AudioX 把文本、影像和影片統一放進了同一個生成框架。它最亮眼的地方不在於純音樂生成的單項音質——做做背景配樂夠用,但離錄音棚級水準還有差距——而在於對多模態時間線的把控。
扔給它一段無聲影片,它能識別出畫面裡的剪輯切點,跟著鏡頭切換生成對齊的音效。除了解讀畫面,它對文本音效生成的精細度控制也很高,比如可以精準執行「機槍連開兩發,短暫沉默,再出海浪聲」。
另外,它還支援音訊修復與續寫。中間刪掉一段聲音,它可以無縫補上人聲和掌聲;給一段前奏,也能按動作大片管絃樂的方向繼續往下擴。整個模型體積不到 6GB,在普通消費級顯示卡上就能跑原生代碼。
為什麼重要
我們認為,AudioX 的思路非常務實。以往創作者要在配樂、擬音、音訊修補之間來回切換好幾個工具,還要人工盯剪輯點對波形。
AudioX 沒去卷極高保真的純音樂生成,而是選擇用一個不到 6GB 的輕量模型包攬全套音畫對齊。對於個人剪輯師和小型遊戲團隊來說,這意味著可以在本地顯示卡上零成本搞定基礎音效鋪墊。
它證明了多模態音訊模型不一定要盲目拼引數量,能把音畫同步的時間軸和剪輯切點吃透,實用價值往往比單純生成一首歌大得多。
來源 (3)
- arxiv.org(在新分頁開啟)原文arxiv.org
- github.com(在新分頁開啟)報導github.com
- huggingface.co(在新分頁開啟)報導huggingface.co