Stability AI、オープン音響モデル「Stable Audio Open」の論文を公開

Stable Audio Openは、テキストプロンプトから高品質な効果音や環境音を生成できるStability AIのオープンウェイト音響モデルだ。

民生用GPUで動作し、最長47秒、44.1kHzのフルレンジステレオ音声を直接生成できる。足音やドアの軋み音といった効果音、ゲームや映像の背景環境音、音楽制作向けのドラムループまで幅広く対応する。

仕組みと学習データ

モデル構成は主に3つの要素からなる。波形を圧縮するオートエンコーダ、プロンプトを処理するT5テキスト埋め込み、そして潜在空間上で動く拡散トランスフォーマー（DiT）だ。

オートエンコーダは潜在レートを21.5Hzまで圧縮しており、音質を損なわずに計算負荷を大幅に削減している。構造自体はStable Audio 2.0に近いが、テキスト条件付けにCLAPではなくT5を採用したことで、より緻密な指示に対応できるようになった。

著作権問題をクリアするため、学習にはクリエイティブ・コモンズ系の音源約50万件のみを使用した。Freesoundから47万2618件、Free Music Archiveから1万3874件を収集し、ライセンスはCC-0、CC-BY、CC-Sampling+に限定している。

さらに事前処理として、PANNs音響タグ付けツールで音楽サンプルを特定した上で、Audible Magicのコンテンツ検出システムを通し、商用著作権に抵触する可能性のある音源を徹底的に排除した。

動作環境と注意点

モデルの重みはHugging Faceで配布されており、論文もarXivで閲覧できる。

推論だけであれば手元の民生用GPUで十分に動作する。特定の効果音に特化させたり長さを調整したりする追加学習（ファインチューニング）も、単枚のNVIDIA A6000があればローカル環境で実行可能だ。

ライセンスはStability AI Community Licenseが適用される。非商用利用はもちろん、年間売上100万ドル未満の個人や小規模事業者であれば商用利用も無償だ。上限を超える場合はエンタープライズ契約が必要となる。

ただし万能ではない。Stability AIは論文内で、人声のセリフ生成や本格的な楽曲全体の生成には限界があると明記している。あくまでフォーリーや環境音の制作に特化したモデルと捉えるべきだ。

なぜ重要か

インディーゲーム開発者や映像作家、サウンドデザイナーにとって、現場ですぐ試す価値のある実践的なツールだ。フリー音源サイトを探し回ったり、権利関係が不透明な商用生成サービスに怯えたりすることなく、手元で安全な効果音を生成できる。

フル尺の楽曲生成で大手に対抗するのではなく、需要の高い効果音・フォーリー制作に的を絞り、クリーンなデータセットでオープン化した点は極めて現実的で賢い判断と言える。