跳到正文
IFAI

AIGC

Stability AI 釋出 Stable Audio 3.0:三款模型開源權重,端側也能生成整曲

首次發布 傳播指數 61

Stability AI 釋出 Stable Audio 3.0 音訊模型系列,Small SFX、Small 與 Medium 三款開放權重。全系列基於合規授權資料訓練,支援最長 6 分 20 秒可變長度生成與 LoRA 微調,年收入百萬美元以下團隊可免費商用。

Stability AI 釋出 Stable Audio 3.0:三款模型開源權重,端側也能生成整曲
圖:stability.ai

Stable Audio 3.0 是一套你可以直接下載權重、本地執行的音樂與音效生成模型家族。它最直接的用處,就是讓你在自己的電腦甚至移動裝置上,直接離線生成最長 6 分 20 秒的完整音樂,或者隨手做段遊戲音效。

這次最大的看點是開放權重和商用友好。整個系列包括四款模型,Stability AI 開源了其中三款的權重,全部基於合規授權資料訓練。這意味著你生成的音訊版權歸自己所有,年收入在 100 萬美元以下的團隊和個人,遵循社群許可證就能免費商用。

它能做什麼,怎麼選模型

這次釋出的四款模型分工非常清晰,引數量從輕量級一直覆蓋到專業工作室級別。

Stable Audio 3.0 Small SFX 和 Small 是輕量級搭檔,引數量均為 459M。它們專門針對手機、輕薄筆記本等端側裝置做了最佳化,可以離線跑起來。Small SFX 專攻音效,Small 則是業內首個能在端側獨立創作整首曲子的模型,最長支援生成 2 分鐘音訊。相比過去 Stable Audio Open 限制在 47 秒內、小型版本僅能出 11 秒片段,這次在端側的實用度可以說是質的飛躍。

如果你追求更完整的音樂結構和更好的聽感,可以選 1.4B 引數的 Stable Audio 3.0 Medium。它不僅旋律連貫性和編曲層次更好,還把生成時長直接拉到了 6 分 20 秒,是一般流行歌的兩倍長度。

至於 2.7B 引數的 Large 版本,主打低延遲和最高等級的音樂品質,主要面向企業大批次呼叫,目前不開放本地權重,只通過 API 和企業私有化部署提供。

架構更新與上手玩法

能把音訊一口氣拉長到 6 分鐘以上,核心靠的是他們新設計的語義-聲學自編碼器(semantic-acoustic autoencoder)。

過去很多音訊模型只能吐出固定長度的切片,拼起來經常斷裂。Stable Audio 3.0 做到了精確到秒的可變長度生成,想要 35 秒配樂就生成 35 秒,不多不少。

它還支援類似影像編輯的音訊修補功能,也就是 Audio Inpainting。你可以圈出音軌裡的一小段單獨重新生成、多段協同修改,或者在曲子結尾做因果延續,順著節奏繼續往下寫,不用推倒重來。

更對開發者胃口的是微調支援。Stability AI 首次為 Small 和 Medium 配套公開了 LoRA 訓練文件。你可以把自己的鼓點樣本庫或者特定音色喂進去,用很低的視訊記憶體代價訓出屬於你自己的風格分支。

想體驗的話,Small SFX、Small 和 Medium 的權重已經全部託管在 Hugging Face,後續也會接入 ComfyUI 社群工作流;大企業或者不想折騰顯示卡的使用者,可以直接調官方 API。

為什麼重要

對獨立遊戲開發者、影片創作者和音樂製作人來說,Stable Audio 3.0 最大的價值是踏實和自主。市面上很多線上 AI 音樂工具雖然好玩,但版權隱患極大,甚至正捲入唱片公司的訴訟風暴。Stability AI 這次拉上環球音樂和華納音樂合作,用全合規授權資料訓練,還把權重開源、允許年收入百萬美元以下免費商用,終於給獨立創作者提供了一個不用提心吊膽的本地工具底座。

從技術競爭來看,它第一次把生成整首完整歌曲的能力塞進了端側裝置。雖然在生成質感和複雜人聲編曲上,小模型可能還拼不過雲端專有大模型,但能在離線狀態下可控地做區域性重繪、打 LoRA 微調,這種高度可控的本地工作流,正是專業創作者真正需要的東西。

來源 (3)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com
  3. [3]
    huggingface.co(在新分頁開啟)報導huggingface.co

每日 AI 內容精選