跳到正文
IFAI

開源專案

Stability AI 聯手 Arm 開源端側音訊模型:手機 8 秒生成 11 秒音訊

首次發布 傳播指數 47

Stability AI 聯合 Arm 開源了 3.41 億引數的音訊模型 Stable Audio Open Small。該模型專為 Arm CPU 最佳化,能在智慧手機上不到 8 秒生成最長 11 秒的立體聲音訊。模型基於社群許可免費商用,適合生成擬音和伴奏迴圈。

Stability AI 聯手 Arm 開源端側音訊模型:手機 8 秒生成 11 秒音訊
圖:stability.ai

Stable Audio Open Small 是 Stability AI 聯合 Arm 推出的輕量級文本轉音訊模型。它最大的特點是完全不用聯網請求雲端伺服器,直接在手機的 Arm CPU 上就能靠文字生成立體聲音效。

它能做什麼

這個模型專門用來生成短音訊樣本和製作素材。輸入一段文字描述,它就能生成鼓點迴圈、環境氛圍聲、電影擬音或是簡短的樂器旋律。

模型單次最多可生成 11 秒的音訊,並且支援立體聲輸出。Stability AI 表示,這也是目前市面上推理速度最快的立體聲文本轉音訊模型。

它的前代模型 Stable Audio Open 擁有 11 億引數,而這次的 Small 版本直接精簡到了 3.41 億引數。雖然體積極大縮小,但官方表示它依然保持了原有的聲音品質和提示詞遵從能力。

怎麼跑起來

這個模型最聰明的地方是沒有依賴手機上的高階 GPU 或專用 AI 晶片,而是藉助 Arm 的 KleidiAI 底層計算庫,專門為 Arm CPU 進行了深度最佳化。

在普通的 Arm 架構智慧手機上,生成一段 11 秒的雙聲道音訊只需要不到 8 秒。除了推理快,較小的引數量也意味著開發者在自己的特定音效庫上做微調的成本更低、速度更快。

在開放程度上,Stable Audio Open Small 採用了寬鬆的 Stability AI Community License,無論是個人研究還是商業專案都能免費使用。目前模型權重已上傳至 Hugging Face,程式碼放在了 GitHub,研究論文也已公開在 arXiv 上。Arm 還同步上線了 Arm Learning Path 教程,指導開發者如何在 Arm 硬體上完成部署。

為什麼重要

對於移動端遊戲開發者、影片剪輯應用團隊或音樂創作者來說,這個模型非常實用。過去要在應用裡做即時音效生成,只能調雲端介面,既有網路延遲又要承擔伺服器賬單,現在直接在本地 CPU 上執行,省去了頻寬和伺服器開銷,還能支援離線使用。

我們認為,這也是邊緣端 AI 落地的一個好樣本。像生成一整首歌曲這樣的重任務交給雲端大模型,而把十幾秒的短音效交給端側 CPU 即時處理,這種算力分工在移動裝置上看起來相當划算。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

話題追蹤Stability AI 與 Arm 的端側音訊合作

這個話題的歷次新聞,最新的在上面。

  1. Stability AI 聯手 Arm 開源端側音訊模型:手機 8 秒生成 11 秒音訊本則
  2. Stability AI 聯手 Arm:手機離線跑音訊生成,提速 30 倍

每日 AI 內容精選