Stability AI 发布开源音频模型 Stable Audio Open 论文

Stable Audio Open 是 Stability AI 开源的文本生成音频模型，专门用来根据文字提示词生成高质量的声音效果和环境音。

它能在消费级显卡上运行，直接生成最长 47 秒、采样率为 44.1kHz 的全频带双声道立体声。无论是关门的吱呀声、脚步拟音、环境氛围铺底，还是音乐制作所需的鼓点片段，它都能直接生成。

架构与训练数据怎么做到的

Stable Audio Open 的结构由三个核心部分组成：一个把连续音频波形高度压缩的自编码器、一个负责理解提示词的 T5 文本编码器，以及一个在自编码器隐空间里运行的扩散 Transformer（DiT）。

它的自编码器把音频的隐空间采样率压到了 21.5Hz，在保留声音动态的同时大幅缩短了序列长度。这套架构衍生自 Stable Audio 2.0，但区别在于它用 T5 替代了之前的 CLAP 文本条件机制，文字理解更加精细。

为了彻底避开版权纠纷，团队用近 50 万条知识共享许可录音训练了它。其中包括来自 Freesound 的 472,618 条音频和来自 Free Music Archive 的 13,874 条音乐，授权协议覆盖 CC-0、CC-BY 和 CC-Sampling+。

在训练之前，团队先用 PANNs 自动标记出所有音乐片段，再把数据送进 Audible Magic 的音频指纹系统逐个比对，把带版权争议的声音全部剔除，确保训练集干干净净。

怎么跑起来与使用限制

目前 Stable Audio Open 的模型权重已经上线 Hugging Face，技术论文也同步发表在 arXiv 上。

日常推理只需要一张普通的消费级显卡；如果你想针对特定场景微调模型或调整生成时长，单张 NVIDIA A6000 显卡就能在本地跑完微调流程。

模型遵循 Stability AI 社区许可协议：非商业用途完全免费，年收入低于 100 万美元的个人或机构可以免费商用，超过这个门槛才需要购买企业授权。

需要注意的是，这并不是一个万能音频模型。Stability AI 在论文里坦承，由于训练集偏向环境音和声音效果，它在生成人声台词和完整音乐曲目上存在明显局限。

为什么重要

如果你是独立游戏开发者、短视频创作者或声音设计师，这个模型非常值得放进工具箱。以往找音效要么翻遍免费声音库，要么承担商用版权风险，现在你可以直接在本地显卡上定制无版权争议的拟音片段。

我们认为，Stable Audio Open 最聪明的地方在于把数据合规做到了极致。它没有硬去跟闭源音乐大模型拼整首编曲，而是退回高频刚需的音效拟音赛道，用干净的数据源建立起开源壁垒，为社区提供了一个既能本地跑又经得起商用审计的基础底座。