Stability AI 釋出開源音訊模型 Stable Audio Open 論文

Stable Audio Open 是 Stability AI 開源的文本生成音訊模型，專門用來根據文字提示詞生成高質量的聲音效果和環境音。

它能在消費級顯示卡上執行，直接生成最長 47 秒、取樣率為 44.1kHz 的全頻帶雙聲道立體聲。無論是關門的吱呀聲、腳步擬音、環境氛圍鋪底，還是音樂製作所需的鼓點片段，它都能直接生成。

架構與訓練資料怎麼做到的

Stable Audio Open 的結構由三個核心部分組成：一個把連續音訊波形高度壓縮的自編碼器、一個負責理解提示詞的 T5 文本編碼器，以及一個在自編碼器隱空間裡執行的擴散 Transformer（DiT）。

它的自編碼器把音訊的隱空間取樣率壓到了 21.5Hz，在保留聲音動態的同時大幅縮短了序列長度。這套架構衍生自 Stable Audio 2.0，但區別在於它用 T5 替代了之前的 CLAP 文本條件機制，文字理解更加精細。

為了徹底避開版權糾紛，團隊用近 50 萬條知識共享許可錄音訓練了它。其中包括來自 Freesound 的 472,618 條音訊和來自 Free Music Archive 的 13,874 條音樂，授權協議覆蓋 CC-0、CC-BY 和 CC-Sampling+。

在訓練之前，團隊先用 PANNs 自動標記出所有音樂片段，再把資料送進 Audible Magic 的音訊指紋系統逐個比對，把帶版權爭議的聲音全部剔除，確保訓練集乾乾淨淨。

怎麼跑起來與使用限制

目前 Stable Audio Open 的模型權重已經上線 Hugging Face，技術論文也同步發表在 arXiv 上。

日常推理只需要一張普通的消費級顯示卡；如果你想針對特定場景微調模型或調整生成時長，單張 NVIDIA A6000 顯示卡就能在本地跑完微調流程。

模型遵循 Stability AI 社群許可協議：非商業用途完全免費，年收入低於 100 萬美元的個人或機構可以免費商用，超過這個門檻才需要購買企業授權。

需要注意的是，這並不是一個萬能音訊模型。Stability AI 在論文裡坦承，由於訓練集偏向環境音和聲音效果，它在生成人聲臺詞和完整音樂曲目上存在明顯侷限。

為什麼重要

如果你是獨立遊戲開發者、短影片創作者或聲音設計師，這個模型非常值得放進工具箱。以往找音效要麼翻遍免費聲音庫，要麼承擔商用版權風險，現在你可以直接在本地顯示卡上定製無版權爭議的擬音片段。

我們認為，Stable Audio Open 最聰明的地方在於把資料合規做到了極致。它沒有硬去跟閉源音樂大模型拼整首編曲，而是退回高頻剛需的音效擬音賽道，用乾淨的資料來源建立起開源壁壘，為社群提供了一個既能本地跑又經得起商用審計的基礎底座。