Stability AI 聯手 Arm：手機離線跑音訊生成，提速 30 倍

想在剪影片時隨手加一段踩雪聲或關門聲，過去你要麼翻遍音效素材庫，要麼把提示詞發給雲端 AI，等幾秒甚至十幾秒。如果遇上地鐵沒訊號或者坐飛機，這些工具立馬癱瘓。

現在 Stability AI 想把這個過程徹底搬到你的口袋裡。3 月 3 日，Stability AI 宣佈與 Arm 達成合作，把開源文本生成音訊模型 Stable Audio Open 搬上了智慧手機，而且不需要聯網，全靠手機本地算力執行。

雙方這次突破選擇在 2025 年巴塞羅那世界行動通訊大會（MWC）上公開演示，這也是業內第一次在純手機 CPU 上跑通這類文本生成音訊模型。

240 秒縮減到 8 秒，CPU 也能挑大梁

把原本屬於雲端機房的大模型塞進手機，最大的障礙就是慢。最開始，Stable Audio Open 在 Arm CPU 上跑一次要花足足 240 秒，也就是 4 分鐘才能憋出一段聲音，根本沒有實用價值。

為了給模型減肥，Stability AI 做了模型蒸餾，同時拉來了 Arm 的底層最佳化庫。他們藉助 ExecuTorch 框架，通過 XNNPack 呼叫了 Arm KleidiAI 中的 int8 矩陣乘法核心。

這一套軟硬體組合拳下來，在 Armv9 架構的 CPU 上，生成一段 11 秒的高質量音訊片段只要不到 8 秒，執行速度直接飆升了 30 倍。

最值得玩味的是，這項最佳化完全是跑在通用 CPU 上的，沒有對專用 NPU 作硬性要求。這意味著它不需要繫結某個特定廠商的高階旗艦晶片，只要是符合架構的手機都有機會跑起來。

Stability AI 還透露，端側音訊只是第一步，他們後續打算把旗下的影像、影片甚至 3D 生成模型，全部分批搬到移動裝置上。

為什麼重要

對普通創作者和移動開發者來說，這是個很實在的工具升級。如果你經常用手機剪 Vlog、做播客或者開發移動小遊戲，以後在沒有網路的環境下，也能隨手敲幾個詞生成逼真的背景環境音或轉場音效，不需要為了幾句取樣去交雲端 API 的訂閱費。

對整個行業而言，這給端側 AI 撕開了一個新口子。過去一年手機廠商都在扎堆卷端側文本翻譯、拍照消除和總結摘要，音訊生成一直因為算力開銷太大被留在雲端。這次合作證明了，只要底層計算核心最佳化得當，成熟的 CPU 依然能在生成式多媒體任務裡扮演主力，不必非得等 NPU 架構統一。

我們認為，Stability AI 找 Arm 合作是一步非常聰明的棋。Arm 背後是全球超過 99% 的智慧手機基礎架構，依託 Arm 的 KleidiAI 生態，Stability AI 的模型能瞬間獲得最大範圍的硬體分發底座，而不用挨個去適配每家晶片廠商私有的推理引擎。

不過，目前的體驗距離完美還有距離。生成一段 11 秒的音訊需要近 8 秒，看起來雖然跨過了可用門檻，但依然算不上即時互動。更現實的問題是，在手機 CPU 上持續滿載跑矩陣運算，發熱和掉電速度到底如何，普通輕薄手機能不能扛住連續幾次生成，這些細節還有待後續實際機型檢驗。