Stability AIとArmが連携、スマホ上で音声生成AIが完全オフライン動作

動画編集の途中でドアのきしむ音や足音の効果音が欲しくなったとき、これまでは有料の素材サイトを探すか、クラウド AI にテキストを送って待つしかありませんでした。電波が届かない場所では手も足も出ません。

Stability AI はその常識を変えようとしています。3 月 3 日、同社は英 Arm と提携し、オープンなテキスト音響生成モデル「Stable Audio Open」をスマートフォン上で完全にオフライン動作させる技術を発表しました。スペインで開催中の MWC Barcelona 2025 でデモが披露されています。

240 秒から 8 秒未満へ、CPU だけで 30 倍の高速化

大がかりな生成モデルをスマホに押し込む試みは、処理速度の壁に突き当たっていました。当初、Arm CPU で Stable Audio Open を動かすと、わずかな音声の生成に 240 秒、つまり丸 4 分もかかっていました。

実用化に向けて、Stability AI はモデルの蒸留を実施。さらに Arm 側のソフトウェアスタックを活用し、ExecuTorch と XNNPack を経由して Arm KleidiAI の int8 行列積カーネルを組み込みました。

この最適化により、Armv9 CPU 上で 11 秒間の高音質オーディオクリップを生成する時間は 8 秒未満へと短縮されました。初期状態と比べて実に 30 倍の高速化を達成しています。

注目すべきは、専用の NPU に頼ることなく、汎用の Arm CPU だけでこの速度を出している点です。Stability AI は音声分野にとどまらず、画像や動画、3D 生成モデルも順次エッジ端末へ展開していく方針を掲げています。

なぜ重要か

スマホでショート動画を制作するクリエイターや個人開発者にとって、ネット環境を気にせず効果音をその場で作れる価値は大きいです。飛行機内や山間部でのロケ先でも、必要なアンビエント音や効果音を数秒で調達できるようになります。

業界全体にとっても、エッジ AI の適用範囲を広げる契機になります。これまでスマートフォンのローカル AI といえば要約や写真の消しゴム機能が主流で、重いメディア生成はクラウド任せでした。今回の成果は、カーネルレベルの最適化を徹底すれば、普及版の CPU でも本格的なマルチメディア生成をこなせることを証明しています。

世界のスマホの 99% を支える Arm と組んだ点は非常に賢い戦略だと私たちは考えます。チップメーカーごとに仕様が異なる NPU 専用ツールに合わせるのではなく、Arm の KleidiAI を押さえることで、一気に世界中の端末へ配布できる土台が手に入るからです。

一方で、課題も残されています。11 秒の音を作るのに約 8 秒かかる現状は、合格点ではあるものの、リアルタイムな対話型生成と呼ぶにはまだ遅いです。また、スマホの CPU に高負荷な int8 演算を連続して掛けた場合、発熱やバッテリー消費がどこまで抑えられるのか、実機での検証が待たれるところです。