MetaがAudioboxを発表：テキスト指示で音声や効果音を自在に生成

雨の音の中に遠くの雷鳴を足したり、何気なく録音した声を大聖堂で響いているかのように変形させる作業は、これまで膨大な効果音ライブラリや高度な音響技術を必要としていました。

Metaは音声生成AIモデル「Voicebox」の後継となる新モデル「Audiobox」を発表しました。人間の音声だけでなく、犬の鳴き声や雷鳴といった効果音、さらには環境音（サウンドスケープ）の生成と編集を1つのモデルに統合し、自然言語の指示で操作できます。

声色とプロンプトを組み合わせる「デュアル入力」

Audioboxの大きな特徴は、テキスト入力だけで多彩な音を作り出せる点です。「流れる川と鳥のさえずり」と入力すれば環境音が、「早口で甲高い声の若い女性」と指定すれば該当する話し声がゼロから生成されます。

さらに強力なのが、音声サンプルとテキスト指示を組み合わせるデュアル入力です。自分の声を読み込ませて音色を固定したまま、「大聖堂の中で」「悲しそうに、ゆっくり話す」といったプロンプトを加えることで、響きや感情だけを自由に変幻自在に加工できます。

Metaによると、音声プロンプトとテキストによる自由形式の音声スタイル変換に対応したモデルは業界初です。スタイルの再現性において旧世代のVoiceboxを30％以上上回ったほか、主観評価ではAudioLDM2やVoiceLDM、TANGOといった先行モデルを有意に引き離したとしています。

音の「穴埋め」編集にも対応

技術面では、Voiceboxで採用されたFlow-matching手法と音声インフィリング（穴埋め）技術を継承しています。

画像生成AIのインペインティングのように、既存のオーディオの特定区間だけに別の音を差し込むことが可能です。雨音の環境音トラックの狙った箇所に、質感の異なる雷の音を自然に混ぜ込むといった編集が手軽に行えます。

ただし、精巧な音声クローンや偽造への懸念から、Metaは一般公開を見送りました。実績のある研究機関や学者に対象を絞った研究用ライセンスとして提供し、一般向けにはブラウザ上で試せるインタラクティブなデモの公開にとどめています。

なぜ重要か

Audioboxが示した最大の成果は、これまで専門知識とスタジオ設備に依存していた効果音制作やフォーリー（擬音制作）のハードルを劇的に引き下げた点にあります。

インディーゲームの開発者やポッドキャスター、映像クリエイターにとって、欲しい音を自然言語で指定し、既存の音源に継ぎ目なく埋め込める体験は強力な制作支援になります。音声と効果音、音響空間を別々のツールに分けるのではなく、単一のモデルで統合的に扱えるようにしたMetaのアプローチは非常に合理的です。

一方で、声色を保持したまま任意の感情や空間演出を付与できる機能は、なりすまし詐欺やフェイク音声の精巧化という重大なリスクを孕んでいます。Metaが慎重に研究機関への限定提供にとどめた判断は妥当ですが、技術手法が公開されている以上、オープンソース界隈での追試や同等モデルの登場は時間の問題です。音声合成の進化に合わせた電子透かしや検知技術の確立が急務となっています。