跳到正文
IFAI

开源项目

Stability AI 联手 Arm 开源端侧音频模型:手机 8 秒生成 11 秒音频

首次发布 传播指数 47

Stability AI 联合 Arm 开源了 3.41 亿参数的音频模型 Stable Audio Open Small。该模型专为 Arm CPU 优化,能在智能手机上不到 8 秒生成最长 11 秒的立体声音频。模型基于社区许可免费商用,适合生成拟音和伴奏循环。

Stability AI 联手 Arm 开源端侧音频模型:手机 8 秒生成 11 秒音频
图:stability.ai

Stable Audio Open Small 是 Stability AI 联合 Arm 推出的轻量级文本转音频模型。它最大的特点是完全不用联网请求云端服务器,直接在手机的 Arm CPU 上就能靠文字生成立体声音效。

它能做什么

这个模型专门用来生成短音频样本和制作素材。输入一段文字描述,它就能生成鼓点循环、环境氛围声、电影拟音或是简短的乐器旋律。

模型单次最多可生成 11 秒的音频,并且支持立体声输出。Stability AI 表示,这也是目前市面上推理速度最快的立体声文本转音频模型。

它的前代模型 Stable Audio Open 拥有 11 亿参数,而这次的 Small 版本直接精简到了 3.41 亿参数。虽然体积极大缩小,但官方表示它依然保持了原有的声音品质和提示词遵从能力。

怎么跑起来

这个模型最聪明的地方是没有依赖手机上的高端 GPU 或专用 AI 芯片,而是借助 Arm 的 KleidiAI 底层计算库,专门为 Arm CPU 进行了深度优化。

在普通的 Arm 架构智能手机上,生成一段 11 秒的双声道音频只需要不到 8 秒。除了推理快,较小的参数量也意味着开发者在自己的特定音效库上做微调的成本更低、速度更快。

在开放程度上,Stable Audio Open Small 采用了宽松的 Stability AI Community License,无论是个人研究还是商业项目都能免费使用。目前模型权重已上传至 Hugging Face,代码放在了 GitHub,研究论文也已公开在 arXiv 上。Arm 还同步上线了 Arm Learning Path 教程,指导开发者如何在 Arm 硬件上完成部署。

为什么重要

对于移动端游戏开发者、视频剪辑应用团队或音乐创作者来说,这个模型非常实用。过去要在应用里做即时音效生成,只能调云端接口,既有网络延迟又要承担服务器账单,现在直接在本地 CPU 上运行,省去了带宽和服务器开销,还能支持离线使用。

我们认为,这也是边缘端 AI 落地的一个好样本。像生成一整首歌曲这样的重任务交给云端大模型,而把十几秒的短音效交给端侧 CPU 实时处理,这种算力分工在移动设备上看起来相当划算。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

话题追踪Stability AI 与 Arm 的端侧音频合作

这个话题的历次新闻,最新的在上面。

  1. Stability AI 联手 Arm 开源端侧音频模型:手机 8 秒生成 11 秒音频本条
  2. Stability AI 联手 Arm:手机离线跑音频生成,提速 30 倍

每日 AI 内容精选