Meta、音声生成フレームワーク「AudioCraft」をオープンソース公開

AudioCraftは、短いテキスト指示から高品質な音楽やリアルな環境音を生成できる、Metaのオープンソース音声生成フレームワークだ。

画像やテキストの生成AIが急速に進歩する一方、音声や音楽の生成は遅れをとっていた。音声信号は複数のスケールにまたがる複雑な波形を扱う必要があり、特に音楽は単音の重なりから複数楽器の全体構造までを一貫して維持しなければならないからだ。これまでのモデルは構造が複雑で公開性も低く、手軽に実験できる環境が整っていなかった。

AudioCraftは、Metaが開発してきた音声生成技術を単一のコードベースに統合し、コードとモデルの重みを完全オープンソースとして提供する。

何ができるのか

AudioCraftは、役割の異なる3つのモデルで構成されている。

1つ目はテキストから音楽を生成するMusicGenだ。Metaが保有または正式ライセンスを取得した楽曲データで学習されており、曲調や楽器の指定に合わせて一貫した楽曲を作り出す。

2つ目は効果音を生成するAudioGenだ。今回事前学習済みモデルが一般公開され、犬の鳴き声、車のクラクション、木の床を歩く足音といった環境音をテキストから直接出力できる。

3つ目はこれらを支える神経音声コーデックの改良版EnCodecだ。デコーダーの性能が引き上げられたことで、生成時のノイズや不自然な音の破綻を抑え、よりクリアな高音質出力を実現している。

どのように使えるか

AudioCraftの大きな特徴は、音声圧縮、効果音生成、音楽生成をすべて同じ枠組みで扱える点にある。

研究者や開発者は公開された重みを使って推論を試せるだけでなく、独自のデータセットを用意して自分だけのモデルを追加学習することが可能だ。

新しい圧縮アルゴリズムを研究したいエンジニアも、特定の楽器に特化した生成器を作りたいクリエイターも、共通のコードベース上で資産を再利用しながら開発を進められる。

なぜ重要か

商用の音声AIがプロプライエタリなサービスとして囲い込まれがちな中、基盤となる重みと学習フレームワークを丸ごと開放した意義は大きい。

インディーゲームの制作者や動画クリエイターにとっては、楽器を演奏することなくBGMや効果音のプロトタイプを即座に試作できる環境が手に入る。MetaはMusicGenについて、操作性が向上すれば初期のシンセサイザーのように新しい楽器になり得ると位置づけている。

音声生成のアルゴリズム改善を世界中の開発者コミュニティに委ねるアプローチは非常に合理的だ。現状のプロンプト入力だけでは細かな音響編集までは難しいものの、アイデア出しや音作りの初期段階における作業効率を大きく引き上げるツールになるだろう。