ACE-Step 1.5 XL:把 4B DiT 搬上本地,不到 1 分鐘生成帶人聲整首歌
開源音樂生成模型 ACE-Step 1.5 XL 釋出,將 DiT 解碼器引數擴至 4B,支援輸入提示詞與歌詞在本地生成帶人聲的完整歌曲。蒸餾版僅需 8 步推理,在消費級顯示卡上不到 1 分鐘即可完成。最值得關注的是其效果直逼主流商業模型;不過本地執行最低需要 12GB 視訊記憶體。
ACE-Step 1.5 XL 是一個能在本地跑起來的開源音樂生成模型。只要給它一段風格描述和歌詞,它就能在你的電腦上生成一首帶有人聲的完整歌曲。
作為 2 月推出的 ACE-Step 1.5 的強化版本,新版把 DiT(擴散變換器)解碼器擴充套件到了 4B 引數。帶來的直接變化是音訊質感更好、更聽指揮,樂感也有所提升,甚至支援生成日語人聲。
怎麼做到的與硬體門檻
模型在架構上保持了與前代的相容,API 和 LoRA 訓練程式碼都沒有改變。老使用者可以直接套用原有的工作流。
速度方面,官方通過 Turbo 蒸餾技術把推理壓縮到了 8 步。在消費級顯示卡上,生成整首歌曲不到一分鐘。
不過,4B 的體量對硬體提出了明確要求。執行該模型最低需要 12GB 視訊記憶體,推薦配置則在 20GB 視訊記憶體以上。
三個版本與實際表現
開發團隊在 Hugging Face 上放出了三個不同取向的權重。
基礎版 acestep-v15-xl-base 的音樂多樣性最高;微調版 acestep-v15-xl-sft 提升了整體品質,但風格發散度略低;蒸餾版 acestep-v15-xl-turbo 則主打極速高質量出曲,適合日常快速出片,只是微調和多樣性表現相對受限。
官方宣稱其基準測試擊敗了 Udio 和 Suno 等閉源商業產品。不過有首批測試的創作者表示,它的綜合質感大致摸到了 Suno v4 的水平,雖然距離最新的 v5 仍有距離,但在開源領域已極為接近頂級閉源體驗。
模型權重現已開放下載,GitHub 上也提供了完整的配置教程與演示。
為什麼重要
長期以來,高質量 AI 編曲和人聲生成基本被商業 SaaS 壟斷,創作者不僅要按月付費,還會受限於內容審查與風格模板。ACE-Step 1.5 XL 證明了 4B 級別的擴散模型完全可以在單張消費級顯示卡上跑出商業級水準。
我們認為,如果你擁有 16GB 或 24GB 視訊記憶體的顯示卡,且平時有獨立音樂製作、遊戲配樂或二創需求,它絕對值得你立即部署上手。雖然它的多樣性在蒸餾後有所妥協,但免訂閱費、支援本地 LoRA 定製與完全掌控的版權歸屬,已經為開源音樂製作扳回了關鍵一局。
來源 (1)
- gigazine.net(在新分頁開啟)原文gigazine.net