ACE-Step 1.5 XL:把 4B DiT 搬上本地,不到 1 分钟生成带人声整首歌
开源音乐生成模型 ACE-Step 1.5 XL 发布,将 DiT 解码器参数扩至 4B,支持输入提示词与歌词在本地生成带人声的完整歌曲。蒸馏版仅需 8 步推理,在消费级显卡上不到 1 分钟即可完成。最值得关注的是其效果直逼主流商业模型;不过本地运行最低需要 12GB 显存。
ACE-Step 1.5 XL 是一个能在本地跑起来的开源音乐生成模型。只要给它一段风格描述和歌词,它就能在你的电脑上生成一首带有人声的完整歌曲。
作为 2 月推出的 ACE-Step 1.5 的强化版本,新版把 DiT(扩散变换器)解码器扩展到了 4B 参数。带来的直接变化是音频质感更好、更听指挥,乐感也有所提升,甚至支持生成日语人声。
怎么做到的与硬件门槛
模型在架构上保持了与前代的兼容,API 和 LoRA 训练代码都没有改变。老用户可以直接套用原有的工作流。
速度方面,官方通过 Turbo 蒸馏技术把推理压缩到了 8 步。在消费级显卡上,生成整首歌曲不到一分钟。
不过,4B 的体量对硬件提出了明确要求。运行该模型最低需要 12GB 显存,推荐配置则在 20GB 显存以上。
三个版本与实际表现
开发团队在 Hugging Face 上放出了三个不同取向的权重。
基础版 acestep-v15-xl-base 的音乐多样性最高;微调版 acestep-v15-xl-sft 提升了整体品质,但风格发散度略低;蒸馏版 acestep-v15-xl-turbo 则主打极速高质量出曲,适合日常快速出片,只是微调和多样性表现相对受限。
官方宣称其基准测试击败了 Udio 和 Suno 等闭源商业产品。不过有首批测试的创作者表示,它的综合质感大致摸到了 Suno v4 的水平,虽然距离最新的 v5 仍有距离,但在开源领域已极为接近顶级闭源体验。
模型权重现已开放下载,GitHub 上也提供了完整的配置教程与演示。
为什么重要
长期以来,高质量 AI 编曲和人声生成基本被商业 SaaS 垄断,创作者不仅要按月付费,还会受限于内容审查与风格模板。ACE-Step 1.5 XL 证明了 4B 级别的扩散模型完全可以在单张消费级显卡上跑出商业级水准。
我们认为,如果你拥有 16GB 或 24GB 显存的显卡,且平时有独立音乐制作、游戏配乐或二创需求,它绝对值得你立即部署上手。虽然它的多样性在蒸馏后有所妥协,但免订阅费、支持本地 LoRA 定制与完全掌控的版权归属,已经为开源音乐制作扳回了关键一局。
来源 (1)
- gigazine.net(在新标签页打开)原文gigazine.net